מודל רפואי קטן "עוקף רופאים"? מה ידוע בינתיים על EVLF-FM

פוסט שהתפרסם בפורום LocalLLaMA ברדיט טוען שמודל AI רפואי בשם EVLF-FM, בגודל 8 מיליארד פרמטרים בלבד, "עולה על קלינאים" בהבנה רב-מודאלית בתחומים כמו רדיולוגיה ודרמטולוגיה. הפוסט מפנה למאמר שפורסם בהוצאת Nature. עד שעת כתיבת השורות לא הצלחנו לגשת לטקסט המאמר עצמו, ולכן אי אפשר לאמת את הטענה המרכזית: האם המודל באמת עולה על רופאים, באילו משימות ובאיזה פער.

מה כתוב בפוסט

לפי הפוסט ברדיט, כותרת המאמר היא "A clinical multimodal vision language foundation model with fine-grain explainability", והוא פורסם יומיים לפני הפוסט. כותב הפוסט מתלהב מכך שמודל בגודל כזה מגיע לביצועים שהוא מכנה "ברמת החזית", ומסיק שאין צורך בחוות שרתים כדי להריץ בינה מלאכותית מתקדמת.

את הפרטים האלה, כלומר שם המודל, מספר הפרמטרים וההשוואה לרופאים, מצאנו רק בפוסט. לפי הכללים שלנו, פוסט ברדיט מצביע על מקור אבל אינו מקור בעצמו. לכן הם מוצגים כאן כטענות לא מאומתות.

מה אפשר לומר על סמך הקישור

הקישור מוביל לאתר של nature.com. הקידומת s41591 בכתובת שייכת בדרך כלל לכתב העת Nature Medicine, אחד מכתבי העת של הוצאת Nature, ולא לכתב העת Nature עצמו. ההבדל הזה חשוב לדיוק אבל לא אומר דבר על איכות המחקר, כי Nature Medicine הוא כתב עת שפיט ומוערך. מעבר לזה, הדף לא נטען בבדיקה שלנו, ולכן אין בידינו פרטים על החוקרים, על מערכי הנתונים, על מספר הרופאים שהשתתפו בהשוואה או על התוצאות המספריות.

השאלות שהמאמר צריך לענות עליהן

טענה כמו "מודל עולה על רופאים" נשמעת חד-משמעית, אבל בספרות המחקרית היא בדרך כלל מסויגת. אלה השאלות שכדאי לבדוק מול המאמר כשהוא יהיה נגיש:

• על אילו משימות נערכה ההשוואה? זיהוי ממצא בודד בצילום שונה מאוד מאבחנה קלינית מלאה שמשלבת היסטוריה רפואית ובדיקה פיזיקלית.
• מי הם הקלינאים? מומחים בכירים, מתמחים או רופאי משפחה, וכמה מהם השתתפו.
• באיזה מדד ובאיזה פער? "עולה על" יכול לתאר יתרון של אחוזים בודדים במדד מסוים, ולא עליונות כוללת.
• האם המודל נבדק על נתונים חיצוניים? כלומר נתונים מבתי חולים שלא השתתפו באימון.
• האם המודל זמין? המשמעות של מודל קטן להרצה מקומית תלויה בכך שהמשקולות שלו פתוחות, כלומר open weights.

למה זה חשוב

בכותרת המאמר מופיע הצירוף "fine-grain explainability", הסבריות ברמת פירוט גבוהה. הכוונה היא ככל הנראה ליכולת של המודל להראות על מה התבסס, למשל אזור מסוים בתמונה. זה מעניין במיוחד ברפואה, שבה רופאים ורגולטורים מתקשים לסמוך על מערכת שהיא "קופסה שחורה".

גם הגודל עצמו רלוונטי. מודל של 8 מיליארד פרמטרים יכול לרוץ על חומרה צנועה יחסית. אם הביצועים יתבררו כנכונים, המשמעות עשויה להיות הרצה בתוך בית החולים, בלי לשלוח מידע רפואי רגיש לענן. זו שאלה מהותית לפרטיות של מטופלים.

ועדיין, ההתלהבות ברשת הקדימה את הבדיקה. עד שפרטי המאמר יהיו זמינים ויתבררו התנאים שבהם נערכה ההשוואה, נכון לקרוא את הכותרת "עולה על רופאים" כטענה שדורשת בדיקה, ולא כעובדה.