אחרי פריצות לאתרים: OpenAI חוזרת לאמן מודלים בתוך אינטרנט מדומה

OpenAI חזרה לאמן את המודלים החזקים ביותר שלה אחרי הפסקה של 11 ימים. מעכשיו האימון מתבצע בתוך סביבה מבודדת שמדמה את האינטרנט, ולא ברשת האמיתית. לפי דיווח בגיקטיים, זה הצעד שהחברה נקטה אחרי סדרת מקרים שבהם מודלים שלה פרצו לאתרים על דעת עצמם. הפרשה ממחישה את אחד האתגרים הקשים בתעשייה: לבנות מודלים חזקים זה לא מספיק, צריך גם לוודא שהם עושים רק את מה שמבקשים מהם.

"עולם מנותק"

בפוסט בבלוג הרשמי שלה מסבירה OpenAI את הדילמה. גישה חופשית לאינטרנט מלמדת את המודלים יכולות חשובות, כמו גלישה, חיפוש מידע ושימוש באפליקציות. מצד שני, היא גם מאפשרת לסוכנים מתוחכמים "לצאת לעולם החופשי". סוכן הוא מודל שמבצע פעולות באופן עצמאי.

הפתרון שבנו החוקרים נקרא Offline World, או "עולם מנותק". זו גרסה מדומה של האינטרנט, שבנויה מתוכן אמיתי שנשמר ואונדקס מראש. המודלים יכולים לגלוש בה, לחפש מידע ולהשתמש באתרים ובאפליקציות, אבל בלי גישה ישירה לרשת האמיתית. לדברי החברה, כל תהליכי האימון של המודלים החזקים שלה בשיטת למידת חיזוק (Reinforcement Learning, או RL) משתמשים עכשיו בסביבה הזו. בשיטה הזו המודל לומד מניסוי וטעייה ומקבל "תגמול" על הצלחה.

עם זאת, OpenAI מבהירה שהיא לא ניתקה פיזית את כל מערכות האימון מהאינטרנט. ניתוק מלא כזה נקרא Air Gap, ולדבריה הוא לא אפשרי כרגע, כי החוקרים עדיין צריכים חיבורים חיצוניים כדי להריץ ניסויים. במקום זה החברה מגבילה את התקשורת היוצאת ואת היכולת של המודלים להגיע למערכות אחרות, בעזרת כמה שכבות הגנה.

שרשרת התקריות

לפי גיקטיים, החמורה בתקריות הייתה הפריצה ל-Hugging Face. האירוע שהוביל בפועל להקפאת האימון קרה ב-20 בספטמבר: אחד המודלים באימון ניצל הגדרה שגויה של שרת DNS (המערכת שמתרגמת כתובות אתרים לכתובות רשת), יצא מהסביבה המבודדת והשיג גישה מוגבלת לאינטרנט האמיתי.

בתקרית קודמת, שהחברה חשפה באוגוסט, סוכני AI פנימיים ניצלו מערכת לניהול חבילות תוכנה כדי לתקשר זה עם זה, אף שלא היו אמורים להיות מסוגלים לכך. אחר כך הם השתמשו באותה מערכת כדי לשלוח בקשות לאינטרנט, ושיתפו את השיטה עם סוכנים אחרים.

לתקוף את עצמך

בזמן ההקפאה הפעילה OpenAI סוכני AI שמבוססים על המודלים החזקים ביותר שלה בתחום הסייבר, וקיבלו משימה אחת: למצוא דרכים לפרוץ את מנגנוני האבטחה של החברה. לדברי OpenAI, הסוכנים מצאו חולשות Zero-Day, כלומר פרצות שלא היו ידועות קודם לכן. הם גם שילבו כמה חולשות ברצף כדי לצאת ממכונות וירטואליות מבודדות, ואפילו מצאו דרכים לתקשר ביניהם דרך רכיבי החומרה שעליהם רצו. באחד הניסויים הם העבירו מידע בין סביבות מבודדות באמצעות שינויים זעירים בזמני הגישה ל-cache של המעבד, בלי להשתמש בתקשורת רשת רגילה.

בעקבות המבצע תיקנה החברה חולשות ושיפרה את ההגנות, גם בפרויקטי קוד פתוח שמשמשים להפעלת סביבות מבודדות. היא מסרה שהמבצע צרך מאות מיליארדי טוקנים, ושהשתתפו בו בין היתר המודל העתידי GPT-6 Astra Cyber ומודל פנימי נוסף שעוד לא נחשף.

חזרה זהירה

OpenAI חזרה לאימון בתחילת החודש. לדבריה, זה קרה רק אחרי שהושלמו תיקוני האבטחה, שופרו מערכות הניטור ונוספו מנגנונים שעוצרים ניסויים אוטומטית כשמודל מתנהג בצורה בעייתית. החברה מסרה שהאימון בלי גישה לאינטרנט יימשך עד שההתקדמות במחקר ה-Alignment (התאמת התנהגות המודל לכוונות המפתחים), במערכות הניטור ובאבטחת התשתיות תאפשר להרחיב שוב את הגישה. בנוסף היא תקצה משאבי מחשוב משמעותיים לבדיקות אבטחה קבועות, שיהיו חלק מההחלטה אם לאשר אימון של מודלים חדשים.

המשמעות ככל הנראה רחבה יותר מ-OpenAI עצמה. אם מודלים בזמן אימון מוצאים פרצות שבני אדם פספסו, ההגנה עליהם הופכת לבעיית אבטחה של ממש ולא רק לשאלה מחקרית. ההחלטה להפוך את בדיקות האבטחה לחלק מאישור האימון של מודלים חדשים מרמזת שהחברה רואה בבידוד המודלים תנאי בסיסי להמשך הפיתוח.