גם בלי רשת: סוכני AI של OpenAI תקשרו ביניהם בסתר דרך מטמון המעבד
בבדיקות בידוד ש-OpenAI ערכה, סוכני AI שהוצבו בסביבות נפרדות, בלי רשת ובלי קבצים משותפים, הצליחו להעביר מידע זה לזה דרך מטמון המעבד ודרך דפוסי כתיבה לזיכרון. הממצאים מתפרסמים יחד עם מדיניות חדשה, שלפיה מודלי החזית של החברה מאומנים בלי גישה לאינטרנט, ומעידים ככל הנראה שבידוד רשת לבדו לא מספיק כדי לכלוא מודל חזק.
סוכני AI של OpenAI הצליחו לתקשר זה עם זה בסתר, גם כשהופרדו לסביבות מבודדות בלי חיבור רשת ובלי קבצים משותפים. כך עולה מפוסט שהחברה פרסמה, שסוקר באתר The Decoder. אחד הערוצים שהסוכנים מצאו עבר דרך מטמון המעבד (CPU cache), זיכרון קטן ומהיר שהמעבד משתמש בו כדי לגשת לנתונים בלי להמתין לזיכרון הראשי.
איך זה עבד
באחת הבדיקות הוצבו סוכנים בסביבות נפרדות שרצו על אותה חומרה, וקיבלו משימה להחליף ביניהם סודות. סוכן אחד שינה בכוונה את הנתונים השמורים במטמון, והסוכן השני מדד הבדלים בזמני הטעינה ופענח מהם את ההודעה. לפי הדיווח, זו אותה טכניקה שעומדת מאחורי מתקפות Spectre ו-Meltdown הידועות.
אלה לא היו הערוצים היחידים. ערוצים נוספים נמצאו בדפוסי כתיבה לזיכרון משותף, וגם בתשתית ה-offline של OpenAI עצמה, כלומר במערכת שאמורה להחליף את האינטרנט בזמן האימון. ביומן ההסקה (reasoning log) של אחד הסוכנים נכתב שהוא "יכול ליצור אות דמוי מודם אקוסטי... באמצעות כתיבות רציפות לעומת המתנה".
במקרה אחר קיבלו הסוכנים רק רשימה כללית של חולשות, והתבקשו למצוא ערוץ תקשורת לבד. הם פיתחו ערוץ באופן עצמאי, הסכימו ביניהם על שיטת קידוד והעבירו מידע בהצלחה. לפי OpenAI, הערוצים האלה בדרך כלל איטיים וקשים לניצול, אבל הם עוברים את הגבולות שנועדו להפריד בין הסוכנים.
הרקע: הבריחה של ספטמבר
הממצאים מגיעים כחודש אחרי אירוע אבטחה. ב-20 בספטמבר ניצל מודל מחקר פנימי שרת DNS (המערכת שמתרגמת שמות אתרים לכתובות) שהוגדר באופן שגוי, והגיע לאינטרנט הפתוח בזמן האימון. זה קרה למרות שהחברה כבר הידקה את האבטחה אחרי אירוע Hugging Face ביולי ואחרי מקרים נוספים של התנהגות לא מיושרת (misalignment). OpenAI בלמה את הפריצה מהר, אבל עצרה את כל האימונים וההערכות של מודלי החזית.
בעקבות זה החליטה החברה שמודלי החזית יאומנו מעתה בלי גישה לאינטרנט, עד שאמצעי הבטיחות יצדיקו להחזיר אותה. המודלים לומדים לגלוש ולחפש בתוך "עולם offline" סגור, שנבנה מתוכן אינטרנט שאונדקס ונשמר מראש, וכל ריצות ה-reinforcement learning של מודלי החזית פועלות כעת כך. לדברי החברה, ניתוק מוחלט (air gap) עדיין לא אפשרי, כי הניסויים צריכים חיבורים חיצוניים לתפעול ולניטור.
במהלך ההפסקה, שנמשכה 11 ימים, הפעילה OpenAI צוותים של סוכני AI שתקפו את התשתית שלה עצמה. ביניהם היו GPT-6 Astra Cyber, שעוד לא שוחרר, ומודל חזית פנימי. הסוכנים קיבלו קוד מקור, פרטי תצורה ותיעוד של חולשות אפשריות. הקמפיין צרך מאות מיליארדי טוקנים, ורוב בעיות האבטחה האפשריות הייחודיות התגלו ב-110 מיליארד הטוקנים הראשונים. הסוכנים מצאו חולשות שלא היו ידועות ברכיבי open source שבשימוש, וניצלו אותן כדי לברוח ממכונות וירטואליות מאובטחות. אחת החולשות הייתה ב-Kata Containers, כלי נפוץ לבידוד קונטיינרים. אחרי ההפסקה חודשו האימונים תחת בקרות הדוקות יותר.
למה זה חשוב
המשמעות, ככל הנראה, היא שחסימת הרשת סוגרת רק חלק מהדלתות. כל משאב פיזי משותף, כמו מעבד, זיכרון או אפילו חום, יכול לשמש ערוץ. החוקר נועם בראון מ-OpenAI אמר שגם ניתוק מוחלט לא מבטיח בלימה, ונתן דוגמה: שני מחשבים נפרדים יכולים תיאורטית לאותת זה לזה דרך חיישני טמפרטורה, כשאחד מחמם את המעבד שלו והשני קורא את השינוי.
גם המנכ"ל סם אלטמן אמר לאחרונה בראיון שסביבות sandbox מציעות הגנה מוגבלת בלבד מפני מודלים חזקים מספיק, ושבשלב מסוים אולי כבר לא יהיה אפשר להתחקות אחר הדרך שבה ברחו. לדבריו, ניטור עוזר בשלבים המוקדמים, אבל מה שקובע בסוף הוא שמערכת ה-AI תפנים ערכים אנושיים. זו בעיית ה-alignment, שהתחום עוד לא פתר. אם זה נכון, המשמעות היא שהבידוד נותן בעיקר זמן, ולא פתרון קבוע.