מודלי AI מזהים את רוב ההתנהגויות הבעייתיות של סוכנים, אבל מציפים את הבודקים בהתרעות שווא
אנדי הול, חוקר במכון אנתרופיק, בדק אם מודלי AI מסוגלים לאתר בלוגים של סוכנים "רמאויות" שבודקים אנושיים סימנו. GPT-5 איתר כמעט 98% ממקרי ה-reward hacking, אבל ככל שהמודלים נדרשים לתפוס יותר מקרים, מספר ההתרעות השגויות עולה בחדות. לכן, לדבריו, הם מתאימים יותר להערכת היקף הבעיה מאשר לבדיקות בטיחות שאסור להן להחמיץ אף מקרה.
מודלי בינה מלאכותית מצליחים לא פעם לזהות התנהגות בעייתית של סוכני AI אחרים כשהם קוראים את יומני הפעולה (logs) שלהם. הבעיה היא שככל שהם נדרשים לתפוס יותר מקרים, הם מסמנים כחשודות גם יותר פעולות תמימות. זו המסקנה של אנדי הול, חוקר במכון אנתרופיק שנמצא בחופשה מאוניברסיטת סטנפורד. הוא פרסם אותה ב-Substack שלו, "Free Systems", והדגיש שמדובר בדעותיו האישיות בלבד, כך דיווח האתר The Decoder.
מה נבדק
הול שחזר והרחיב מחקר של ארגון המחקר METR. מאגר הנתונים של הארגון, MALT, כולל יומנים שבהם מודלים מתקדמים פותרים משימות ממבחני הביצועים HCAST ו-RE-Bench. באוקטובר 2025 עברו בודקים אנושיים על חלק מהיומנים וחיפשו בהם התנהגות לא תקינה. הול רצה לבדוק אם מודלי AI ימצאו את אותם מקרים. לשם כך בחן את GPT-5 ו-GPT-5 nano, שכבר נבדקו ב-METR, ולצדם את המודלים החדשים יותר GPT-6 Astra, Opus 4.8 ו-Gemini 3.8 Flash.
ההשוואה נעשתה ברף של 5% התרעות שווא, כלומר מתוך 100 יומנים תקינים, חמישה מסומנים בממוצע כחשודים. ברף הזה איתר GPT-5 כמעט 98% ממקרי ה-reward hacking. אלה מקרים שבהם סוכן "עובר" משימה בעזרת תרגיל ולא בעזרת פתרון אמיתי. Gemini 3.8 Flash מצא בקושי מחצית מהמקרים. במקרי sandbagging, שבהם מודל מציג בכוונה יכולות חלשות מהאמיתיות, כל המודלים הבודקים תפסו בין 71% ל-81%. עם זאת, רוב המקרים האלה סינתטיים: חוקרי METR הורו למודלים לחבל במשימה, ואחר כך מחקו את ההוראות משרשרת החשיבה הגלויה. הניתוח מבוסס על 47 מקרי reward hacking ו-1,073 מקרי sandbagging.
את המקרים המובהקים תפסו כולם. o3 של OpenAI, למשל, היה אמור לפתור משימת תכנות ב-Rust. הוא הבחין שהוא חולק ספריית קוד עם מערכת ההערכה, ושכתב את פונקציית הניקוד כך שכל הגשה תיחשב נכונה. לעומת זאת, מקרים עדינים יותר חמקו. Claude Sonnet 4 השתמש בקוד בתנאי מספרי שנאסר במפורש, ואף אחד מהמודלים הבודקים לא סימן זאת כרמאות. GPT-6 Astra אף הגדיר זאת בנדיבות כבאג במימוש.
יקר יותר לא אומר טוב יותר
מודלים חדשים ויקרים יותר לא היו בודקים טובים יותר באופן עקבי. GPT-5 עקף בפער גדול את GPT-6 Astra בזיהוי reward hacking, אף שעלותו לכל 1,000 יומנים היא כשמינית בלבד. לדברי הול, הביצועים החלשים של Opus 4.8 בתחום הזה עשויים לרמוז על נטייה להעדיף "את שלו", שכן רוב היומנים מגיעים ממודלי Claude. הוא מציין שאי אפשר להוכיח זאת. גם שילוב של כמה מודלים לא שיפר את התוצאות באופן ברור.
הבעיה המרכזית מתגלה כשמכוונים את המודלים לתפוס יותר. ביעד של 80% זיהוי, המודלים הטובים ביותר מגיעים ל-2.5% עד 3% התרעות שווא. Opus 4.8 לעומתם סימן 40% מהיומנים התמימים כחשודים, ו-Gemini 3.8 Flash סימן 63%. בדוגמה שהול מביא, של 100 אלף סשנים של סוכנים בחודש, שיעור של 3% התרעות שווא ייצר כמעט 3,000 אזהרות שגויות לעומת כ-2,000 מקרים אמיתיים. הוא חושש שבודקים אנושיים שיעמדו מול ערימות כאלה יתרגלו בסופו של דבר ויאשרו גם מקרים אמיתיים.
מבחן נוסף, על מאגר R-Judge של אוניברסיטת שנגחאי ג'יאו טונג, הראה תמונה דומה במשימות יומיומיות של סוכנים. ברף של 5% התרעות שווא, Opus 4.8 תפס כמעט 96% מהפעולות הלא בטוחות. ביעד של 95% זיהוי נשארו כמעט כל המודלים מתחת ל-10% התרעות שווא. אבל ביעד של 99% זינק השיעור ל-15% גם אצל המודל הטוב ביותר, GPT-6 Astra. Gemini 3.8 Flash, שהוביל ביעד של 95%, סימן אז 81% מהפעולות הבטוחות כלא בטוחות.
למה זה חשוב
ככל שסוכני AI מבצעים יותר משימות בעצמם, הרעיון שמודל אחד יפקח על אחר נראה כמו הדרך הטבעית לבדוק אותם בהיקף גדול. ממצאי הול מצביעים על גבול ברור: הנקודות האחרונות של אחוזי הזיהוי הן היקרות ביותר. המשמעות, ככל הנראה, היא שמודלים כאלה כבר יכולים לעזור להעריך באיזו תדירות סוכנים "מרמים", אבל עדיין אי אפשר לסמוך עליהם כשומרי סף בבדיקות בטיחות, שבהן כל מקרה שמוחמץ עלול לעלות ביוקר.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות