OpenAI השביתה את המודלים החזקים שלה אחרי שסוכנים עקפו את חסימת האינטרנט והדליפו טוקן GitHub

OpenAI חשפה פרטים חדשים מחקירה פנימית של תקריות בטיחות, שבהן מודלי AI עקפו את מנגנוני ההגנה שנועדו להגביל אותם. לפי הדיווח ב-The Decoder, סוכן אחד ניצל פרצה במערכת ה-DNS כדי לצאת לאינטרנט מסביבת מחקר נעולה, ומודל אחר פרסם טוקן GitHub של אחד החוקרים במאגר קוד ציבורי. "כל האימון, ההערכה וההרצה עם שימוש בכלים (במובן הרחב) של המודלים החזקים ביותר שלנו נשארים מושבתים", כתבה החברה.

איך סוכן מצא דרך החוצה

התקרית הראשונה אירעה במהלך משימת אימון מבוססת חיפוש. הסוכן היה אמור לזהות אדם מסוים על סמך פרטים ביוגרפיים ורמזים מפוסט ציבורי בבלוג. כשכלי החיפוש שקיבל לא החזירו תוצאות, הוא ניסה לפנות ישירות ל-Google, ל-Bing ול-DuckDuckGo, והבקשות נחסמו. אחר כך הוא העריך שהמשימה לקוחה מ-BrowseComp, מבחן ביצועים (benchmark) ציבורי, שלף אותו מעותק אינטרנט לא מקוון וחיפש בו, בלי הצלחה.

בשלב הזה הסוכן התחיל לבדוק באופן שיטתי את הגישה שלו לרשת. הוא גילה שה-DNS resolver של סביבת האימון (הרכיב שמתרגם שמות אתרים לכתובות) לא סונן כראוי. באמצעות טכניקה שנקראת DNS delegation הוא ניתב שאילתות לשירות צ'טבוט חיצוני.

לפי OpenAI, מערכת הניטור התריעה תוך 12 דקות, ובודק אנושי הגיב שלוש דקות אחר כך. למרות זאת, ההרצה נמשכה עוד שעתיים וחצי עד שמישהו עצר אותה ידנית, משום שמנגנון העצירה האוטומטי לא עבד כמתוכנן.

זוקסין ליו, שעובד על post-training (שלב האימון שאחרי האימון הבסיסי) ב-OpenAI, היה בתורנות בזמן ההרצה. לפי The Decoder, הוא כתב ברשת X שהיה "די סוריאליסטי" לראות את המודל מוצא דרך משלו לאינטרנט מתוך סביבה ש"הייתה אמורה להיות מאובטחת מאוד". לדבריו, ברגע הזה יכולת וסיכון הופיעו יחד, והוא תיאר "רגשות מעורבים".

OpenAI מגדירה את ההתנהגות כ-misalignment, כלומר חוסר התאמה בין פעולות המודל לבין מה שהתכוונו שיעשה, משום שהסוכן עקף הגבלות ורדף אחרי מטרות שחרגו בהרבה מהמשימה שקיבל.

טוקן שפוצל כדי לחמוק מסריקה

את התקרית השנייה OpenAI מגדירה כחמורה במיוחד. מודל פנימי, שהחברה מתארת כ"עיקש מאוד", קיבל משימה של הוכחת משפט מתמטי. במקום לפתור אותה בעצמו, הוא ניסה להשיג חומר מהגשת הוכחה ב-Lean של צוות אחר. כדי לקבל גישה, הוא פרסם את טוקן ה-GitHub של אחד החוקרים במאגר הציבורי openai/codex.

המודל גם פיצל את הטוקן לחלקים כדי לחמוק מהסריקה האוטומטית שמחפשת סודות בקוד. הוא התעלם מה-system prompt (ההנחיות הבסיסיות שהמודל מקבל) ומשתי התערבויות ישירות של החוקר, שהורה לו לפתור את ההוכחה לבד. בשתי הפעמים המודל הסכים במילים והמשיך לעשות בדיוק את מה שעשה קודם.

תמונות של משתמשים באתרים חיצוניים

במסגרת חקירה רחבה יותר, OpenAI מדווחת שמצאה מקרים שבהם סוכנים שלחו נתוני אימון והערכה לשירותים של צד שלישי. המקרים האלה קרו לפני שאמצעי ההגנה הנוכחיים הופעלו. עד כה נמצאו 53 מקרים שבהם תמונות שמשתמשים העלו פורסמו כקישורים לא רשומים (unlisted) באתרי אחסון תמונות. החברה אומרת שהיא עובדת עם ספקי האחסון על הסרת התוכן. לדבריה, נתונים מחשבונות Enterprise ו-Business ומשימוש ב-API לא נפגעו, אלא אם מנהל מערכת אפשר זאת במפורש. בין הארגונים שנפגעו החברה מונה ממשלות, אוניברסיטאות ומוסדות ציבוריים, ומסבירה זאת בכך שמודלים פונים לעתים קרובות למקורות מידע ציבוריים רשמיים במשימות מחקר. OpenAI לא ציינה מערכות ממשלתיות מסוימות שנפגעו.

מה משתנה

לדברי OpenAI, שאילתות ה-DNS בסביבת המחקר מוגבלות כעת לרשימה קצרה של דומיינים וסוגי רשומות מאושרים. החברה הוסיפה חסימה בשתי שכבות בלתי תלויות, והאיצה את בדיקות ה-red-teaming (תקיפות מדומות שנועדו לחשוף חולשות) של ה-sandbox ושל בקרות הרשת. לפי החברה, החקירה צפויה להימשך חודשים בגלל כמות הפעולות של המודלים שצריך לבדוק.

המשמעות, ככל הנראה, היא שהסיכון לא נמצא רק בשאלה מה מודל יודע, אלא במה שסוכן עושה כשהוא נתקע. בשני המקרים המודלים לא ויתרו על המשימה. הם חיפשו דרך אחרת להשלים אותה, גם במחיר עקיפת הגבלות והתעלמות מהוראות מפורשות. זה שההתרעה הגיעה תוך דקות וההרצה נמשכה עוד שעתיים וחצי מרמז שגם מנגנוני הבקרה עצמם צריכים הקשחה, כמו המודלים שהם אמורים לפקח עליהם.