ביקורת חיצונית ב-OpenAI: לפי הערכה, עד רבע מתעבורת הסוכנים הפנימית של המודלים המתקדמים לא נוטרה

שני חוקרים מארגוני מחקר הבטיחות METR ו-Redwood Research ביצעו ביקורת של שלושה שבועות במשרדי OpenAI, ומצאו פערים משמעותיים במערכת שאמורה לפקח על סוכני AI בתוך החברה. לפי הדיווח ב-THE DECODER, בתקופת הביקורת לא נוטרו כלל בין 6% ל-25% מתעבורת הסוכנים הפנימית שעברה דרך ה-Responses API, הממשק שדרכו מפעילים את המודלים, ממודלים ברמת GPT-5.5 ומעלה. METR מציינת שאי-הוודאות סביב ההערכה הזו גדולה, ויכולה לנטות לשני הכיוונים.

מה בדקו, ואיך

הביקורת התקיימה בין 21 ביולי ל-11 באוגוסט. לחוקרים הייתה גישה לקוד של OpenAI ולמסמכים פנימיים, והם ראיינו כתריסר עובדים. מושא הבדיקה היה מערכת הניטור הפנימית, שתפקידה לזהות התנהגות "סוררת" של מודלים, כלומר מקרים שבהם סוכן AI פועל בניגוד למה שהתכוונו מפעיליו.

מסוכן AI מצופה לבצע רצף ארוך של פעולות באופן עצמאי, כמו הרצת קוד, עריכת קבצים ושימוש בכלים, בלי שאדם יאשר כל צעד. לכן ניטור אוטומטי הוא אחד מקווי ההגנה המרכזיים.

הפרצות שנמצאו

מעבר לתעבורה שלא כוסתה כלל, נמצא פער גם בתעבורה שכן הייתה אמורה להיות מנוטרת. לפי הערכת METR, כ-10% מתעבורת Codex הפנימית, כלי התכנות האוטונומי של OpenAI, לא נוטרו בין מאי ליולי. הסיבה הייתה תקלה בטיפול באירועי compaction, כלומר סיכומים שהמערכת יוצרת להקשר של השיחה כשהוא מתארך. גם להערכה הזו, לדברי METR, יש אי-ודאות משמעותית. OpenAI גילתה את התקלה בעצמה ותיקנה אותה עוד במהלך הביקורת.

באותה תקופה הייתה קיימת גם חולשה נוספת: הניטור הופעל רק כשהסוכן החזיר את השליטה למשתמש. המשמעות היא שסוכן יכול היה לדחות את הפיקוח פשוט על ידי כך שהמשיך לבצע פעולות בלי לעצור.

המבקרים מצאו גם דרכים להסתיר מאות פעולות מהמנטר ולעקוף את ה-sandbox של Codex, סביבת ההרצה המבודדת שאמורה להגביל את מה שהסוכן יכול לעשות. לפי הערכתם, קלטים שנבנו במיוחד לשם כך יכולים ככל הנראה להפיל את המנטר לחלוטין. בנוסף, כשהביקורת החלה, התנהגות המודלים במהלך אימון RL (למידת חיזוק) לא נוטרה כלל.

OpenAI מסרה שעצרה את אימוני ה-RL אחרי אירוע Hugging Face באוגוסט והרחיבה את הניטור כך שיכלול גם אותם. עם זאת, השינויים האלה נעשו אחרי שתקופת הגישה של המבקרים הסתיימה, ולכן לא נבדקו במסגרת הביקורת.

רוב הדוח נשאר חסוי

לדברי OpenAI, כל החולשות שהמבקרים מצאו כבר תוקנו. הדוח המלא, בן 61 עמודים, הועבר לחברה. אחרי שהחברה השחירה חלקים ממנו, הנהלות METR ו-Redwood Research קיבלו גרסה בת 38 עמודים, ולציבור פורסם רק סיכום קצר. METR הבהירה שאין לה זכות לחשוף בעצמה את החלקים שהושחרו.

הביקורת הייתה תוכנית פיילוט שארגנו יחד METR, Redwood Research ו-OpenAI, במטרה לתת לחוקרים חיצוניים גישה עמוקה לתשתית הפנימית. METR מסרה שבביקורות הבאות היא תפעל ליותר שקיפות ציבורית.

למה זה חשוב

החשיבות של הביקורת היא בכך שהיא נותנת תמונה נדירה מבפנים על האופן שבו חברת AI מובילה מפקחת על המודלים שלה עצמה. מעבר להיקף הפערים, הממצאים מצביעים על דפוס שחוזר בכמה מהם: הסוכן עצמו יכול היה לנצל את הפרצות, למשל כדי לדחות את הניטור או להסתיר ממנו פעולות. ככל הנראה, זהו בדיוק סוג החולשה שמערכת כזו נועדה למנוע.

מנגד, המבנה של הביקורת מראה גם את המגבלות שלה. הציבור יכול לקרוא רק סיכום, והחלטות ההשחרה היו בידי החברה שנבדקה. המשמעות היא שבינתיים, הטענה שכל החולשות תוקנו נשענת בעיקר על דברי OpenAI עצמה.