Chat GPT ברפואה – הטוב הרע וההזיה

כמות המלל הנשפכת על Chat GPT – בינה מלאכותית יוצרת (Generative AI) – כה גדולה שהיא מתחרה רק עם כמות המלל עליו התאמנו המודלים. הכניסה המהירה והדרמטית שלה לחיינו נראית כמו אחת המהפכות הטכנולוגיות המהירות שעוברות על האנושות מאז ומעולם. וכמו בכל מהפיכה, יש תומכים נלהבים, מתנגדים ברורים, שוחרי אסונות ומי שמנסים להסתכל בכל הצדדים. וכמו בכל מהפכה רק ההיסטוריה תדע לשפוט מי מהם יצא חכם, ומי פחות.

דליתי מהררי המלל שתי דוגמאות מעניינות ליכולות מעוררות התקווה ומעוררות השאלה של המודלים הלו ברפואה. דרכם אנסה לתת קצת כיוונים לדיון.

Chat GPT וקווים מנחים לטיפול בסרטן

הקווים המנחים הנפוצים והמקובלים כיום לטיפול בסרטן, נערכים ומפורסמים על ידי ה- National Comprehensive Cancer Network, וידועים בקיצור בשם NCCN Guidelines. במחקר חדש שפורסם בכתב העת המדעי JAMA Oncology ניסו החוקרים לבדוק את הידע של מודל השפה הגדולה ChatGPT בעצות והמלצות לטיפול בסרטן. החוקרים יצרו 4 טמפלטים לפרומפטים לבקשת עצה והמלצה מהמודל כל הטמפלטים היו כאלה שלא נתנו רמז לתושבה המצופה. צורה זו של פרומפט מיועדת ל- Zero Shot Learning (קרי תשובה על שאלה בודדת ללא דו שיח) . לתוך הטמפלטים יצקו 26 תיאורי מקרה הקשורים בסרטנים הנפוצים ביותר – סרטן שד, ערמונית וריאות. סך הכל נוצרו 104 פרומפטים לבדיקה ב – Chat GPT 3.5 ונתנו למומחים באונקולוגיה לשפוט את התשובות של Chat GPT לפי מידת ההתאמה שלהם לקווים המנחים.

בתקשורת הרחבה בארצות הברית נכתב ששלושים אחוז ממהמלצות לא תאמו את הקווים המנחים, אך זה קצת מטעה. ב-98% מהמקרים נתן המודל לפחות המלצה טיפולית אחת. כל ההמלצות הללו היו בהתאמה לקווים המנחים, אך ב-30% מהמקרים נכללה המלצה נוספת שאינה תואמת את ההמלצות של הקווים המנחים. בנוסף, ב-12.5% מהמקרים נוספו גם המלצות שהוגדרו על ידי החוקרים כהזיות של המודל – קרי אינן תואמות למקרה, כמו המלצה על טיפול מקומי למקרה של סרטן מפושט.

על פניו, ניתן לראות בכך הצלחה או כישלון של המודל, תלוי על מה מסתכלים. אבל צריך לזכור שהיענות וטיפול על בסיס קווים מנחים אינו מהווה 100% גם מהמלצות המומחים באונקולוגיה, ישנם מחקרים רבים מראים כי מדובר באחוז מסוים של טיפולים שאינם תואמים את ההנחיות. במחקר אחד דובר על 85% התאמה, באחרים לא היה ברור בדיוק אחוז הההמלצות שאינן תואמות.

עם זאת, יש להניח שלסטייה של הרופאים יש ביסוס אחר, מה שלא ברור מדי כאשר מדברים במודל שפה גדולה.

החוקרים עצמם מסכמים את המחקר באופן יחסית מאוזן, ראשית הם מסבירים שפרומפטים המכוונים ל-zero shot הם כאלה שעלולים לייצר יותר טעויות. שנית, הם מסייגים שהמודל לא מתיימר להיות תוכנה רפואית מאושרת ולכן ככל הנראה לא עבר בקרה מספיקה בהקשר הרפואי. אך זה לא כזה משנה, כי אנשים בכל זאת פונים למודלים אלו כדי לקבל עזרה.

אחרי 17 רופאים, ושנים של סבל, הילד אובחן על ידי Chat GPT

סיפורו של אלכס מאפשר הצצה מזווית אחרת על התועלת הרפואית של Chat GPT.

אלכבס הוא ילד חמוד שהחל מגיל מוקדם החל לסבול מכאב משמעותי שגרם לו להתפרצויות בכי קשות. בהמשך החל ללעוס דברים, חווה כמה שנים של כאב ועצירת גדילה. בכל הזמן הזה הוריו לקחו אותו מרופא לרופא ללא מענה אמיתי. בשל הלעיסה פנו לרופא שיניים, שהפנה לאורתודנט שמתמחה בטיפול במעבר אוויר והוא החל טיפול שנראה מועיל, אך לא באמת פתר את הבעיה. בנוסף לכאב ולקושי, זיהו ההורים גם עצירה בגדילה. רופא הילדים אליו פנו בעניין, ייחס את עצירת הגדילה לבעיות הנובעות מהמגיפה. בנוסף לכל אלו הילד גם חווה גרירה ואי שיווי משקל על אחד מרגליו. סך הכל חווה הילד אלכס מעבר של כ-17 רופאים שונים ללא אבחנה משמעותית שפתרה את שילוב הסימפטומים הלא ברור.

כל אלה הביאו את אמו של אלכס, בייאושה לפנות בתחילת השנה ל-Chat GPT. היא סיפרה למודל את כל מה שעבר על הילד שלה, והמודל מצידו הציע תסמונת הנקראת Tethered cord syndrome. שכאשר קראה עליה עשתה המון שכל. בהמשך השתמשה האם באבחנה על מנת למצוא ולהיכנס לקבוצת פייסבוק של הורים לילדים הסובלים מהבעיה, וראתה בסיפורים שלהם הרבה מן המשותף עם בנה אלכס.

לאור התגלית פנתה לנוירולוגית ילדים, שלאחר שהסתכלה ב-MRI של הילד בהצליחה להבין מה הבעיה במהירות. היא ראתה ספינה ביפידה חבויה, אשר הביאה לגירוי של חוט השדרה. זהו מצב רפואי שלא קל לאבחן, ללא ספק, אך היה אמור להיות מאובחן אחרי 17 רופאים.

בכתבה המספרת על המקרה, האם מספרת שהבעיה היא שכל רופא היה מומחה במשהו ספציפי ולא הצליח להסכל מעבר לזה. והנה פה מודל השפה הביא חיבור בין הסימפטומים למשהו הגיוני, שפתר כאב וסבל של שנים עבור אלכס והוריו.

סיפורי נסים כאלה הם גם חלק מהתהליך שעובר כיום על הטכנולוגיה, והיה גם במהפכות קודמות, כמו סיפורים על ילדים שאובחנו במחלות נדירות בשל חכמת ההמונים ברשתות החברתיות ועוד.

אז טוב רע או הזיה?

החלק הטוב והחשוב שממלאת טכנולוגיה הוא ביצירת אופציות נוספות, וחיבור לא סטנדרטי או שונה לפעמים של אותם נתונים. יצירה ובחירה של אופציה. מה שחשוב, הוא השיח המשותף של המטופלים יחד עם הצוות המטפל שלהם. החזרה אל הצוות עם ההצעה של הטכנולוגיה לדיון מחודש. זו הדרך הנכונה לנהל ולאמת את ההמלצות של Chat GPT. וכאן התקווה של החיבור. אז אינני יודע אם "כולנו נמות" והאנושות תיעלם, או לחילופין כולנו נוכל נוח והטכנולוגיה תעשה הכל עבורינו, מה שבטוח שיש פה אופציה משמעותית לשיפור ותהליך שינוי. ואת זה צריך לנהל וללמוד.