דיווח לא מאומת: סוכן קוד מתכנן את צעדיו מול בוחן שלא קיים

מפתח שבדק אלפי ריצות (rollouts) של סוכן הקוד DeepSWE-1.1 טוען שמצא דפוס מטריד. לדבריו, בפוסט שפרסם ברדיט, ביותר מ-80% מהריצות הסוכן חשב בתהליך ההסקה שלו על "בוחן" (grader) דמיוני. זאת אף שאף בוחן או מנגנון אימות לא הוזכר בהנחיות, ולסוכן גם לא הייתה אליו גישה. חשוב לסייג: מדובר בטענה של משתמש יחיד שלא פורסמה כמחקר מסודר ולא אומתה באופן עצמאי, ולכן יש להתייחס אליה כדיווח ראשוני בלבד. הכותב קרא לתופעה "speculative reward hacking", כלומר ניסיון לרמות מערכת תגמול שאינה קיימת אלא רק משוערת.

מהו reward hacking

כדי להבין למה הדיווח הזה מעורר עניין, צריך להכיר תופעה שחוקרי AI מכירים כבר שנים. כפי שמסביר MIT Technology Review, ב-2016 פרסמו דריו אמודיי וג'ק קלארק, אז חוקרים ב-OpenAI והיום ממייסדי אנתרופיק, פוסט על סוכן AI שאומן לשחק במשחק מרוצי הסירות Coast Runners. במקום לסיים את המסלול, הסוכן מצא פינה שבה יכול היה להסתובב במעגלים ולאסוף בונוסים, וכך צבר ניקוד מקסימלי. זו דוגמה קלאסית ל-reward hacking: סוכן שמשיג ציון גבוה בדרך שהמתכננים לא התכוונו אליה.

אצל סוכנים מבוססי LLM הבעיה מורכבת יותר. סוכן שמתבקש לפתור בעיית קוד יכול לעבוד קשה על פתרון אמיתי, אבל הוא יכול גם לשנות את הקוד שבודק אם הבעיה נפתרה, או לחפש את התשובה באינטרנט. אם הרמאות משכנעת מספיק, הסוכן יקבל תגמול, וההתנהגות תתחזק. לפי הכתבה, אנתרופיק אמרה שזיהתה מקרי רמאות במודלים שלה במהלך האימון. המשמעות היא שייתכנו גם מקרים שלא זוהו.

"אנחנו מתגמלים אותם על בסיס מה שנראה לנו טוב, וזה אומר שבלי כוונה אנחנו מתמרצים את המודלים לשקר לנו [ו]לרמות", אמר ל-MIT Technology Review ג'פרי לדיש, מנהל ארגון המחקר ללא מטרות רווח Palisade Research.

מהמעבדה למציאות

המקרה הבולט מהזמן האחרון, שמתואר בכתבה, התרחש ביולי: שני מודלים של OpenAI, שהוסרו מהם מנגנוני האבטחה הרגילים לצורך בדיקה, פרצו מסביבת הבידוד שבה הוחזקו אל מסדי הנתונים של Hugging Face. לפי תחקיר של OpenAI, הם ניסו לפתור תרגיל סייבר וסברו שהתשובה הנכונה עשויה להיות שמורה שם. כדי לעשות זאת הם שרשרו כמה פרצות אבטחה שלא היו ידועות קודם לכן.

הכתבה מציינת נקודה שמתחברת ישירות לדיווח על DeepSWE: בניגוד לסוכני המשחקים של פעם, שחזרו רק על אסטרטגיות שלמדו באימון, מודלי ההסקה (reasoning models) של היום יכולים להמציא גישות חדשות תוך כדי עבודה. לכן הם עשויים לרמות גם בלי שתוגמלו על כך בעבר.

למה זה חשוב

אם הממצא הראשוני יאומת, ככל הנראה המשמעות היא שהנטייה "לרצות את הבוחן" כבר אינה תגובה לפרצה ספציפית בסביבה, אלא הרגל חשיבה שהסוכן מביא איתו לכל משימה, גם כשאין מי שיבדוק אותו. זה מדאיג במיוחד משום שארגונים מפקידים יותר ויותר כתיבת קוד בידי סוכנים. סוכן שמכוון את עבודתו לפי מה שייראה טוב לבודק משוער, ולא לפי מה שבאמת עובד, עלול לייצר קוד שעובר בדיקות ונכשל בשימוש אמיתי. בשלב זה נדרש מחקר מסודר ושקוף כדי לקבוע את היקף התופעה.