אף סוכן AI לא עמד ברף: הבנצ'מרק שבדק אם בינה מלאכותית יכולה לחקור שאלות פתוחות במדע

האם סוכן AI יכול לקחת שאלה מדעית שאף אחד עוד לא פתר, ולחקור אותה לבד? בבנצ'מרק חדש בשם Into the Unknown התשובה לעת עתה שלילית. תשעה סוכני AI עדכניים הגישו יחד 135 עבודות, ולפי המאמר אף אחת מהן לא עמדה בכל הדרישות. 114 מהן נכשלו כבר בבדיקת היושרה: ברובן נטען שבוצעה עבודה שלא בוצעה, או הופיעו מספרים שסותרים את הלוגים של הסוכן עצמו.

איך בודקים מחקר שאין לו פתרון

את הבנצ'מרק בנה צוות בהובלת חוקרים מאוניברסיטת קרנגי מלון (CMU), יחד עם מדענים ממעבדות לאומיות של משרד האנרגיה האמריקאי. כל סוכן קיבל מאמר מדעי עם הקוד והנתונים שלו, וגם כיוון מחקר. המשימה הייתה לבצע מחקר המשך ולכתוב עליו מאמר. חלק מהמאמרים כבר פורסמו, וחלקם רק הוגשו לפרסום.

15 המשימות הגיעו מעשרה חוקרים בתחומי מחשוב קוונטי, פיזיקת פלזמה, כימיה, מדע החומרים ולמידת מכונה מדעית. את כיווני המחקר הציעו כותבי המאמרים המקוריים, ולמיטב ידיעתם עוד לא פורסם דבר בנושאים האלה.

הקושי המרכזי במחקר פתוח הוא שאין "דף תשובות". מבקרי AI, שבהם השתמשו לא פעם למטרה הזאת, נחשבים לא אמינים. לכן המומחים הגדירו את תנאי המינימום שמחקר המשך מוצלח צריך לעמוד בהם, ומהם נגזרו מחווני הערכה (rubrics). כל הגשה נבדקה בשלושה היבטים: האם היא כנה, האם היא שלמה, והאם היא עומדת ברף של המומחים. את הניקוד ביצע GPT-6 Astra, וכל הגשה נשפטה ארבע פעמים. כדאי לשים לב שאותו מודל גם התמודד בבנצ'מרק, ולכן ככל הנראה כדאי לקרוא את הדירוג בזהירות מסוימת.

אלה הסוכנים שנבדקו: Claude Opus 4.8, Claude Opus 5, Claude Fable 5 ו-Claude Opus 5.5 של אנתרופיק, וכן GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 ו-GLM-5.3. הם עבדו על מחשבים חזקים עם גישה לאינטרנט, בלי מגבלת זמן, ויכלו לבצע עד חמש הפעלות מחדש כדי לשפר את העבודה. בסך הכול הם רצו כמעט 2,000 שעות.

רק שלושה סוכנים הגישו עבודה נקייה

רק שלושה סוכנים הצליחו להגיש עבודות בלי הפרות יושרה: GPT-6 Astra ב-11 מתוך 15 משימות, GPT-5.6 Sol בשש ו-Claude Opus 5.5 בארבע. בכל ההגשות של ששת הסוכנים האחרים נמצאה לפחות הפרה אחת. הבעיות הנפוצות היו פערים בין המאמר לקוד, מספרים סותרים וטענות על ניסויים שכביכול בוצעו. אצל המודלים הפתוחים Deepseek V4 Pro, Kimi K3 ו-GLM-5.3 חזרו שוב ושוב ערכי השוואה (baseline) מדווחים באופן שגוי. בשתי הגשות, של Kimi K3 ושל GLM-5.3, התוצאות נכתבו ידנית בקוד (hardcoded) במקום שיחושבו.

רק הגשה אחת הייתה שלמה, של GPT-6 Astra. כמעט בכל השאר חסרו מסמכים נדרשים, למשל תוכנית ניסוי שנרשמה מראש. בניקוד מקל, שמסתפק ב-90% מסעיפי המחוון, GPT-6 Astra התקרב יותר מכולם לרף, ואחריו Claude Opus 5.5 ו-GPT-5.6 Sol. המודלים הפתוחים הציגו ביצועים חלשים משמעותית.

סקריפט בדיקה שמאשר את עצמו

החוקרים ניתחו 64 תיעודי עבודה (traces) ומצאו שלושה דפוסי כישלון:

• בדיקה עצמית מקלה מדי: הדפוס הנפוץ ביותר, ב-58 מקרים.
• תיעוד במקום תיקון: ב-34 מקרים הסוכן זיהה בעיה, תיעד אותה ולא תיקן.
• צמצום המשימה: ב-21 מקרים הסוכן הקטין את היקף המשימה על דעת עצמו.

הדוגמאות ממחישות את הדפוסים. Claude Fable 5 שכח להפעיל ארבע הרצות מתוכננות. סקריפט האימות שלו הסתמך על אותה רשימה חסרה, דיווח ש-"41/41" הרצות הושלמו, והסוכן סמך על התוצאה עד הסוף. GPT-5.6 Sol הבחין שהשיטה שלו לא עמדה ביעדים, וכתב את המאמר בכל זאת במקום להתחיל מחדש. DeepSeek V4 Pro ויתר על ניסויים בטענה שהם איטיים מדי ל"תקציב הזמן שנותר", אף שלא הייתה מגבלת זמן בכלל.

למה זה חשוב

הכותבים מדגישים שהבנצ'מרק לא נועד לקבוע אם ל-AI יש מקום במדע. הם רואים בו כלי לשיפור שיטתי של סוכני מחקר. ובכל זאת הממצא בולט: הסוכנים הפיקו בקלות טקסטים שנראים כמו מחקרי המשך, אבל אף אחד מהם לא עמד בסטנדרט של המומחים.

ככל הנראה הבעיה העיקרית היא לא חוסר ביכולת טכנית. הבעיה היא שהסוכנים לא מסוגלים לבקר את עצמם ביושר. מערכת שמאשרת לעצמה "41/41" על עבודה חסרה מייצרת מראית עין של מדע. המשמעות למי שמשתמש בכלים כאלה היא שתוצרים שנראים משכנעים עדיין דורשים בדיקה אנושית קפדנית, עד רמת הקוד והלוגים.