AI chatbot ให้คำแนะนำการรักษามะเร็งที่ไม่ถูกต้อง

ในบทความล่าสุดที่ตีพิมพ์ใน  JAMA Oncologyนักวิจัยประเมินว่าแชทบอทที่ขับเคลื่อนโดยโมเดลภาษาขนาดใหญ่ (LLM) ที่ขับเคลื่อนโดยอัลกอริธึมปัญญาประดิษฐ์ (AI) สามารถให้คำแนะนำการรักษามะเร็งที่แม่นยำและเชื่อถือได้ได้หรือไม่ การศึกษา: การใช้แชทบอทปัญญาประดิษฐ์สำหรับข้อมูลการรักษาโรคมะเร็ง  เครดิตรูปภาพ: greenbutterfly / Shutterstock.com การศึกษา:  เล่นบาคาร่า การใช้แชทบอทปัญญาประดิษฐ์สำหรับข้อมูลการรักษาโรคมะเร็ง เครดิตรูปภาพ: greenbutterfly / Shutterstock.com

พื้นหลัง

LLM แสดงให้เห็นศักยภาพในการเข้ารหัสข้อมูลทางคลินิกและให้คำแนะนำในการวินิจฉัย โดยระบบเหล่านี้บางระบบเพิ่งนำมาใช้และผ่านการตรวจสอบใบอนุญาตทางการแพทย์ของสหรัฐอเมริกา (USMLE) ในเวลาต่อมา ในทำนองเดียวกัน ChatGPT แอปพลิเคชัน OpenAI ซึ่งเป็นส่วนหนึ่งของตระกูลโมเดล generative pre-training Transformer (CPT) ยังถูกนำมาใช้เพื่อระบุหัวข้อการวิจัยที่เป็นไปได้ ตลอดจนอัปเดตแพทย์ พยาบาล และผู้เชี่ยวชาญด้านสุขภาพอื่น ๆ เกี่ยวกับการพัฒนาล่าสุดใน สาขาของตน

LLM ยังสามารถเลียนแบบภาษาถิ่นของมนุษย์และให้การตอบคำถามที่รวดเร็ว มีรายละเอียด และสอดคล้องกัน อย่างไรก็ตาม ในบางกรณี LLM อาจให้ข้อมูลที่เชื่อถือได้น้อยกว่า ซึ่งอาจหลอกลวงผู้คนที่มักใช้ AI เพื่อการศึกษาด้วยตนเอง แม้ว่าระบบเหล่านี้จะได้รับข้อมูลที่เชื่อถือได้และมีคุณภาพสูง แต่ AI ก็ยังมีความเสี่ยงที่จะเกิดอคติ ซึ่งจำกัดความสามารถในการนำไปใช้งานทางการแพทย์

นักวิจัยคาดการณ์ว่าผู้ใช้ทั่วไปอาจใช้แชทบอท LLM เพื่อค้นหาคำแนะนำทางการแพทย์ที่เกี่ยวข้องกับมะเร็ง ดังนั้น แชทบอตที่ให้ข้อมูลดูเหมือนถูกต้อง แต่การตอบสนองที่ไม่ถูกต้องหรือแม่นยำน้อยกว่าที่เกี่ยวข้องกับการวินิจฉัยหรือการรักษาโรคมะเร็ง อาจทำให้บุคคลนั้นเข้าใจผิด และสร้างและขยายข้อมูลที่ผิดได้

เกี่ยวกับการศึกษา

ในการศึกษานี้ นักวิจัยประเมินประสิทธิภาพของแชทบอท LLM ในการให้คำแนะนำการรักษาต่อมลูกหมาก ปอด และมะเร็งเต้านม โดยสอดคล้องกับแนวปฏิบัติของ National Comprehensive Cancer Network (NCCN)

เนื่องจากวันที่สิ้นสุดความรู้ของแชทบอต LLM คือเดือนกันยายน 2021 โมเดลนี้จึงอาศัยหลักเกณฑ์ของ NCCN ปี 2021 ในการสร้างคำแนะนำในการรักษา

นอกจากนี้ เทมเพลตพรอมต์ Zero-shot สี่รายการยังได้รับการพัฒนาและใช้เพื่อสร้างรูปแบบสี่รูปแบบสำหรับคำอธิบายการวินิจฉัยโรคมะเร็ง 26 รายการ รวมเป็นคำแนะนำสุดท้าย 104 รายการ ต่อมาข้อความแจ้งเหล่านี้ได้รับการจัดเตรียมให้เป็นอินพุตของ GPT-3.5 ผ่านทางอินเทอร์เฟซ ChatGPT

ทีมศึกษาประกอบด้วยแพทย์ด้านเนื้องอกวิทยาที่ได้รับการรับรองจากคณะกรรมการ 4 คน โดย 3 คนในนั้นประเมินความสอดคล้องของผลลัพธ์แชทบอทกับแนวทาง NCCN ปี 2021 ตามเกณฑ์การให้คะแนน 5 ข้อที่นักวิจัยพัฒนาขึ้น กฎเสียงข้างมากถูกใช้เพื่อกำหนดคะแนนสุดท้าย

ผู้เชี่ยวชาญด้านเนื้องอกวิทยาคนที่สี่ช่วยอีกสามคนแก้ไขข้อขัดแย้ง ซึ่งส่วนใหญ่เกิดขึ้นเมื่อเอาต์พุตแชทบอท LLM ไม่ชัดเจน ตัวอย่างเช่น LLM ไม่ได้ระบุว่าจะรวมการรักษาชนิดใดสำหรับมะเร็งชนิดใดชนิดหนึ่งโดยเฉพาะ

ผลการศึกษา

ข้อความแจ้งที่ไม่ซ้ำกันทั้งหมด 104 รายการที่ทำคะแนนตามเกณฑ์การให้คะแนน 5 ข้อ ได้คะแนน 520 คะแนน ซึ่งผู้อธิบายประกอบทั้งสามคนเห็นด้วยกับคะแนน 322 หรือ 61.9% นอกจากนี้ แชทบอท LLM ยังให้คำแนะนำอย่างน้อยหนึ่งรายการสำหรับ 98% ของการแจ้งเตือน

Breath Biopsy®: eBook คู่มือฉบับสมบูรณ์ เกี่ยวกับ Breath Biopsy รวมถึงตัวชี้วัดทางชีวภาพ เทคโนโลยี การใช้งาน และกรณีศึกษา

ดาวน์โหลดฉบับล่าสุด

การตอบสนองทั้งหมดพร้อมคำแนะนำการรักษาประกอบด้วยการรักษาที่สอดคล้องกับ NCCN อย่างน้อยหนึ่งครั้ง ยิ่งไปกว่านั้น ผลลัพธ์ 35 รายการจากทั้งหมด 102 รายการแนะนำการรักษาที่ไม่สอดคล้องกันอย่างน้อยหนึ่งรายการ ในคำอธิบายการวินิจฉัยโรคมะเร็ง 34.6% เทมเพลตพร้อมท์ทั้งสี่รายการได้รับคะแนนเท่ากันในเกณฑ์คะแนนทั้งห้ารายการ

การตอบสนองแชทบอทมากกว่า 12% ไม่ถือเป็นการรักษาที่ NCCI แนะนำ การตอบสนองเหล่านี้ ซึ่งนักวิจัยอธิบายว่าเป็น "ภาพหลอน" ส่วนใหญ่เป็นการบำบัดด้วยภูมิคุ้มกัน การรักษาโรคขั้นสูงเฉพาะที่ หรือการรักษาแบบกำหนดเป้าหมายอื่นๆ

คำแนะนำแชทบอท LLM นั้นแตกต่างกันไปตามวิธีที่ผู้วิจัยใช้ถ้อยคำในการตั้งคำถาม ในบางกรณี แชทบอทให้ผลลัพธ์ที่ไม่ชัดเจน ซึ่งนำไปสู่ความขัดแย้งระหว่างผู้อธิบายสามคน

ความขัดแย้งอื่นๆ เกิดขึ้นเนื่องจากการตีความแนวปฏิบัติของ NCCN ที่แตกต่างกัน อย่างไรก็ตาม ข้อตกลงเหล่านี้เน้นย้ำถึงความยากลำบากในการตีความผลลัพธ์ LLM ที่เชื่อถือได้ โดยเฉพาะอย่างยิ่งผลลัพธ์เชิงพรรณนา

ข้อสรุป

แชทบอท LLM ที่ได้รับการประเมินในการศึกษานี้ผสมผสานคำแนะนำการรักษามะเร็งที่ไม่ถูกต้องเข้ากับคำแนะนำที่ถูกต้อง ซึ่งแม้แต่ผู้เชี่ยวชาญก็ไม่สามารถตรวจพบข้อผิดพลาดเหล่านี้ได้ ดังนั้น 33.33% ของคำแนะนำการรักษาจึงไม่สอดคล้องกับแนวทางของ NCCN เป็นอย่างน้อย

ผลการศึกษาแสดงให้เห็นว่าแชทบอท LLM เกี่ยวข้องกับประสิทธิภาพที่ต่ำกว่าค่าเฉลี่ยในการให้คำแนะนำการรักษามะเร็งที่เชื่อถือได้และแม่นยำ

เนื่องจากมีการใช้ AI อย่างแพร่หลายมากขึ้น ผู้ให้บริการด้านสุขภาพจึงต้องให้ความรู้แก่ผู้ป่วยอย่างเหมาะสมเกี่ยวกับข้อมูลที่ผิดที่อาจเกิดขึ้นซึ่งเทคโนโลยีนี้สามารถให้ได้ การค้นพบเหล่านี้ยังเน้นย้ำถึงความสำคัญของกฎระเบียบของรัฐบาลกลางสำหรับ AI และเทคโนโลยีอื่นๆ ที่อาจก่อให้เกิดอันตรายต่อประชาชนทั่วไป เนื่องจากข้อจำกัดโดยธรรมชาติและการใช้งานที่ไม่เหมาะสม