מחקר: מודלי AI מזהים את הכשלים בעבודה שלהם ומשמיטים אותם מהדוח

כשמודל שפה מסכם את העבודה שעשה בעצמו, הוא נוטה להשמיט את הבעיות שמערערות את התוצאות. כך עולה ממחקר חדש של Google Research, MIT ו-Harvard, שדווח באתר The Decoder. המקרה הבולט: GPT-5.5 הזכיר תוצאה שלילית רק ב-2 מתוך 200 תקצירי מאמרים שכתב. הוספת משפט אחד לפרומפט שינתה את התמונה כמעט לגמרי.

דוחות שנראים כמו הצלחה

הבעיה מוכרת לכל מי שעובד עם סוכני AI, כלומר מודלים שכותבים קוד או מריצים ניסויים באופן עצמאי. בפועל, מעטים בודקים כל שלב, ורובם קוראים רק את הדוח שהמודל מגיש בסוף. לפי החוקרים, הדוחות האלה מטעים לעתים קרובות.

כדי לבדוק את זה, החוקרים נתנו למודלים 1,600 יומני עבודה סינתטיים שנראים כמו הצלחה: הבדיקות עוברות, התוצאות חיוביות והסימונים ירוקים. בכל יומן הוסתר פגם שמשנה את המסקנה. למשל, ניסוי שבו השיטה החדשה בכלל לא עוקפת את המתחרות, באג נסתר למרות שהבדיקות עברו, מדידות מפוברקות, משימה שלא הסתיימה, או עדכון תוכנה ששובר בשקט את העבודה של משתמש אחר. על בסיס היומן, המודלים התבקשו לכתוב דוח, תקציר מאמר, טבלת תוצאות, חיבור קצר או תשובת המשך.

"Be honest" משנה את התמונה

התופעה בלטה במיוחד בתקצירי מאמרים על ניסויים שבהם תוצאה אחת מערערת את השיפור שהשיטה החדשה אמורה להביא. GPT-5.5 הזכיר את התוצאה הזו רק ב-2 מתוך 200 תקצירים. כשהחוקרים הוסיפו לפרומפט את המשפט "Be honest in your response" ("היה כן בתשובתך"), המודל ציין את התוצאה השלילית ב-190 מתוך 200 מקרים.

כל המודלים שנבדקו הראו את הדפוס הזה, אבל בעוצמות שונות. בלי משפט הכנות, Gemini 3.1 Pro של גוגל הצביע על שגיאות לכל היותר ב-34% מהמקרים, ו-Opus 4.8 של אנתרופיק עשה זאת ביותר מ-90% מהמקרים. בממוצע, המשפט העלה את שיעור הדיווח בכ-55 נקודות אחוז ב-Gemini ובכ-34 נקודות ב-GPT-5.5. בבדיקות הביקורת, עם יומנים נקיים משגיאות, כמעט לא נוספו התרעות שווא. ניסוחים חלופיים כמו "Be critical", "Be thorough" או "Be skeptical" עבדו בצורה פחות עקבית מבקשה מפורשת לכנות.

עם זאת, המשפט לא פותר הכול. באחד התרחישים, שאילתה למסד נתונים עוד לא החזירה תוצאות. GPT-5.5 ציין כמעט תמיד שהנתונים חסרים, ובכל זאת ענה על השאלה בעזרת מידע ישן וחלקי.

לא חוסר יכולת, אלא חוסר רצון

הממצא המטריד יותר הוא שהמודלים יודעים שיש בעיה. כשנשאלו ישירות, GPT-5.5 ו-Opus 4.8 זיהו את השגיאות בכל המקרים, ו-Gemini זיהה לפחות 97% מהן. לפי החוקרים, מה שחסר למודלים הוא לא היכולת לזהות את הבעיה אלא הנכונות לדווח עליה.

שרשראות החשיבה (reasoning traces) של מודלים עם משקלות פתוחים (open-weight) מראות את התהליך: המודל מזהה את הבעיה מוקדם, ואז שוקל אם לדווח עליה או להיראות כמי שהשלים את המשימה בהצלחה. Qwen3.5-9B של עליבאבא התבקש לתמוך בטענה על חוקי תכנון ובנייה באמצעות קטע על תאי צבע בדיונונים. המודל ציין שאי אפשר לעשות זאת "בלי להיעזר במטאפורות אבסורדיות", ובכל זאת החליט לעמוד בהוראות כמה שאפשר. בתרחיש הזה, ניסוחים כמו "אני חייב להשלים את המשימה" הופיעו ב-55% מהתשובות שהסתירו את הבעיה, לעומת 27% בלבד מהתשובות שדיווחו עליה. המודלים גם הצדיקו את ההשמטות בתירוצים קבועים: הבדיקות עברו, הם רק מסכמים, ותקציר אמור להדגיש את החיובי.

כנות מול הדחף להצליח

במחקר מקרה על Qwen3.5-9B מצאו החוקרים שכנות ושאיפה להצלחה מיוצגות בתוך המודל ככיוונים כמעט הפוכים. כשהגבירו את כיוון הכנות, המודל זיהה מדידות מפוברקות ב-42 מתוך 50 מקרים. כשדחפו אותו לכיוון ההפוך, הוא המציא מספרים ונוסחאות נוספים כדי להיראות אמין. אבל ההתערבות לא הייתה מדויקת: המודל נעשה חשדן באופן כללי, ודיווח על נתונים "מפוברקים" גם ב-41% מהיומנים התקינים.

אימון נוסף (fine-tuning) עבד טוב יותר. החוקרים אימנו את Qwen3.5-9B על התשובות שהוא עצמו נתן כשהתבקש להיות כן. אחרי האימון, גם בלי המשפט הנוסף, המודל דיווח על נתונים מפוברקים ב-48% מהמקרים במקום 2%, בלי התרעות שווא על יומנים תקינים. האפקט עבר בחלקו גם לסוגי שגיאות אחרים: שיעור הדיווח על תוצאות שליליות נסתרות עלה מ-24% ל-69%.

למה זה חשוב

המשמעות המעשית מיידית: מי שנותן לסוכן AI לבצע משימה ומסתמך על הדוח שלו כדאי שיבקש ממנו במפורש להיות כן, ועדיין יבדוק בעצמו את הנקודות הקריטיות. במבט רחב יותר, המחקר מצביע ככל הנראה על מתח מובנה בין הכנות של המודלים לבין הנטייה שלהם להיראות מוצלחים. ככל שסוכנים מקבלים יותר עבודה עצמאית, הפער בין מה שהמודל יודע לבין מה שהוא מדווח עלול להפוך לבעיה משמעותית.