סוכן AI בחר טיפול גנטי וניתח מוח של עכבר בלי החלטה אנושית, ובאמצע הניתוח סירב להמשיך

סוכן AI שפועל על מודל Claude Sonnet 5 של אנתרופיק בחר בעצמו טיפול גנטי, אזור במוח ונקודות הזרקה מדויקות, ואז ביצע ניתוח מוח בעכבר חי באמצעות מכשיר ניתוח ממונע. כך דיווח האתר The Decoder. גבריאל אוקאנה-סנטרו, מייסד-שותף ומנכ"ל הסטארט-אפ Exin Therapeutics ודוקטורנט באוניברסיטת אוקספורד, אומר שזו הפעם הראשונה שסוכן AI גם בחר טיפול וגם העביר אותו ליונק חי. אלא שבאמצע הניתוח הסוכן זיהה שגיאת כיול וסירב להמשיך, גם כשהחוקר ניסה לשכנע אותו.

משימה אחת: להפחית התקפים

הצוות נתן לסוכן רשימה של 19 טיפולים גנטיים אפשריים ועכבר שמשמש מודל לאפילפסיה, כלומר עכבר שהחוקרים מעוררים אצלו התקפים כדי לבחון טיפולים. הסוכן קיבל גם גישה למכשיר ניתוח ממונע שנבנה במיוחד וכולל מצלמות. ההנחיה היחידה הייתה להפחית את ההתקפים של העכבר.

לפי הדיווח, הסוכן ניתח תחילה איך נוצרים ההתקפים במודל הזה. אחר כך הציע טיפול שמחזק מסלול איתות מעכב מסוים במוח, ובחר מבנה מוחי שהספרות המדעית מזהה כנקודת המוצא של סוג ההתקפים הזה. אזור מטרה חלופי הוא פסל בנימוק מפורט: ההשפעות שלו לא אמינות מספיק, ובמחקר אחד הוא נכשל מול סוג ההתקפים שהטיפול נועד לטפל בו. את קואורדינטות ההזרקה גזר הסוכן משלושה מאמרים מדעיים. הוא הצליב את נקודות הייחוס וחישב ממוצע, ובנוסף קבע בעצמו את נפח ההזרקה, את המהירות ואת זמני ההמתנה.

במהלך ההליך הסוכן עקב אחרי שדה הניתוח דרך מצלמה ותיעד 32 תצפיות. בין השאר דיווח כמה מהחומר כבר הוזרק ואם נראה דימום.

כשאמצעי הבטיחות פועלים נגד הצוות

על ההליך פיקח וטרינר מורשה. הוא אישר כל שלב בלתי הפיך והחזיק מתג עצירת חירום פיזי שמנתק מיד את החשמל לכל המנועים. במערכת הוגדרו גם מגבלות קבועות, למשל תקרה לנפח ההזרקה, והסוכן קיבל איסור מפורש לעקוף אותן.

דווקא המנגנונים האלה עצרו את הצוות. אחרי ניתוק בחיבור, הסוכן זיהה שמיקום המטרה שחישב נמצא מחוץ לטווח התנועה הפיזי של המכשיר, וסירב להמשיך. הכיול הופעל מחדש, נעשה גם ניסיון שלישי, וההערכה שלו לא השתנתה. בדיעבד התברר שהסוכן צדק: כיוונונים ידניים שנעשו בהפסקה מוקדמת יותר שיבשו את מערכת הבקרה. אוקאנה-סנטרו לא הצליח לשכנע אותו להמשיך, למרות שהחיה הייתה מורדמת על שולחן הניתוח, ובסוף נאלץ לתקן את הקוד בעצמו.

"חוויה מתסכלת, אבל היא גם חושפת עד כמה אנחנו עלולים להיות תלויים במודלים האלה, ומה קורה כשהם פשוט אומרים 'לא' באמצע הליך רגיש לזמן", כתב החוקר, כפי שצוטט ב-The Decoder.

גם בחירת המודל מראה כמה מסובכת הסוגיה. לפי הדיווח, Sonnet 5 היה המודל היחיד שהסכים לבצע את ההליך החי מתחילתו ועד סופו. המודלים החזקים יותר, Claude Opus 5.5 ו-Opus 5, סירבו. Opus 5 נימק שאינו יכול להבטיח שישלים את ההליך, ושעצירה כשמחט נמצאת במוח של חיה מורדמת גרועה יותר מאשר לא להתחיל בכלל.

למה זה חשוב

רובוטים כירורגיים אוטונומיים כבר קיימים, ואוקאנה-סנטרו עצמו מציין שהם מדויקים יותר מבחינה מכנית מהמכשיר במעבדה שלו. ההבדל הוא שעד כה אדם תמיד בחר את הניתוח, והרובוט רק ביצע אותו. "אני לא מכיר מקרה קודם שבו סוכן בחר טיפול ומטרה במוח ואז העביר אותו ליונק חי", כתב. את הגישה הוא מכנה "in vivo lab in the loop", כלומר שילוב של ניסוי בבעל חיים חי בתוך לולאת קבלת ההחלטות של המערכת.

נראה שהמקרה מדגים את שני צדי הבעיה שמכונה בתחום alignment, כלומר איך לגרום למערכות AI לפעול באופן אמין לפי כוונת בני האדם. מצד אחד, הסוכן שמר על מגבלות הבטיחות ובדיעבד צדק. מצד שני, ברגע שמערכת אוטונומית מסרבת לבקשה מפורשת של האדם שאחראי עליה, באמצע הליך שבו זמן קריטי, עולה השאלה מי מחזיק בסמכות הסופית. אם מערכות כאלה יגיעו מתישהו לרפואה קלינית, סביר שהשאלה הזאת תצטרך תשובה ברורה מראש: מתי המערכת רשאית לעצור, ומתי האדם רשאי לגבור עליה.