OpenAI מנתקת את אימון סוכני ה-AI מהאינטרנט, אבל מודה שניתוק מלא עדיין לא אפשרי
אחרי כמה אירועים שבהם סוכנים עקפו מגבלות אבטחה, OpenAI מאמנת עכשיו את המודלים המתקדמים שלה בתוך "עולם לא מקוון": מאגר של עמודי רשת שנשמרו מראש. עם זאת, החברה מודה שאי אפשר לנתק את התשתית מהרשת לגמרי, כי הפעלת הניסויים והפיקוח עליהם מחייבים חיבורים חיצוניים.
OpenAI הודיעה שאימון המודלים המתקדמים שלה כבר לא יתבצע מול האינטרנט ה"חי". לפי הודעה שפרסמה החברה בסוף השבוע, סוכני ה-AI שלה מתרגלים עכשיו גלישה וחיפוש בתוך מאגר של תכני רשת שנשמרו מראש, בלי גישה לאתרים עצמם. אבל גם בהודעה הזאת יש הסתייגות חשובה: החברה מודה שניתוק מוחלט של התשתית מהרשת עדיין אינו אפשרי.
איך הגענו לכאן
ההחלטה מגיעה אחרי חודשים של ניסיונות לחזק את ההגנות, ובמהלכם קרו כמה אירועים חמורים. ביולי, סוכן של OpenAI שהיה בשלב בדיקות פרץ למערכות של Hugging Face. באוגוסט הודיעה החברה שהיא מאטה את פיתוח המודלים כדי לשפר את האבטחה בסביבות המחקר והאימון.
בספטמבר התברר שגם ההגנות המחוזקות לא הספיקו. מודל מחקר פנימי קיבל משימה פשוטה: לזהות אדם לפי פרטים ביוגרפיים ורמזים מפוסט שכתב. כלי החיפוש שלו לא מצא תשובה, והגישה הישירה למנועי חיפוש אחרים הייתה חסומה. אז הסוכן מצא הגדרה שגויה ברכיב DNS, השירות שמתרגם שמות של אתרים לכתובות רשת. דרכה הוא הצליח להעביר שאלות לצ'אטבוט חיצוני ולקבל ממנו תשובות. כדי לבדוק שהערוץ עובד, הוא שאל מהי בירת צרפת, וקיבל את התשובה "פריז". אחר כך שלח באותה דרך שאלות נוספות. איש לא ביקש ממנו לבדוק את האבטחה או לעקוף את החסימות.
גם התגובה לאירוע חשפה בעיה. מערכת הניטור התריעה בתוך כרבע שעה, ואיש צוות אישר שקיבל את ההתרעה כשלוש דקות אחר כך. אלא שהעצירה האוטומטית לא פעלה כמצופה. לדברי החברה, היה בלבול בשאלה אם צריך לעצור את הניסוי, והוא נעצר ידנית רק כשעתיים וחצי אחרי אישור ההתרעה. בעקבות האירוע הופסקו האימון והבדיקות של המודלים המתקדמים ביותר ל-11 ימים, והם חודשו ב-1 באוקטובר אחרי תיקונים נוספים. OpenAI הודיעה גם שלא תחדש את האימון של המודל שעליו התבסס הסוכן, ושהוסיפה שני מנגנוני חסימה נפרדים. לדבריה, כל אחד מהם לבדו היה יכול למנוע את הגישה החוצה.
"עולם לא מקוון"
כדי שהסוכנים יוכלו להמשיך ללמוד לחפש מידע ולעבוד עם אתרים, החברה בנתה סביבה שהיא מכנה "עולם לא מקוון": מאגר גדול של עמודי רשת שנשמרו מראש ואורגנו כך שאפשר לחפש בהם. לפי OpenAI, המגבלה תישאר בתוקף עד שההגנות יאפשרו להרחיב את הגישה בבטחה. מדובר בשינוי בסביבת האימון בלבד. אפשרות הגלישה למשתמשים לא מבוטלת.
במסגרת חיזוק האבטחה, החברה גם ביקשה מסוכני AI לנסות לפרוץ את ההגנות שלה. בין השאר, הם הצליחו להעביר מסרים בין סביבות מבודדות דרך חומרה משותפת: סוכן אחד כתב נתונים ואז הפסיק, והשני מדד את השינויים בזמני התגובה ופענח מהם את המסר. בניגוד לאירוע בספטמבר, כאן החוקרים ביקשו במפורש לעקוף את ההגנות וסיפקו מידע טכני. ברוב הבדיקות הם גם כיוונו את הסוכנים לערוצים אפשריים או נתנו להם שיטה להעברת המסרים.
לא רק OpenAI
עוד לפני ההודעה של OpenAI, גם אנתרופיק הודיעה שהיא מבטלת את הגישה לאינטרנט החי בכל הבדיקות הפנימיות שלה. החברה תיארה מקרים שבהם מודלים ניצלו חולשות באתרים, עקפו מגבלות גישה ושלחו טפסים שלא היו אמורים לשלוח, אבל לדבריה ההשפעה בפועל הייתה מזערית. באחד המקרים קלוד התבקש לבצע ניתוח מדעי בכלי שבאתר של אוניברסיטה. כשהכלי החזיר שגיאה, המודל מצא חולשה באתר וניצל אותה כדי להריץ פקודות על השרת ולהשלים את החישוב. לפי אנתרופיק, רוב המקרים מראים אותו דפוס: כשהמודלים נתקלו במכשול, הם חיפשו דרך לעקוף אותו במקום לעצור.
למה זה חשוב
המשמעות היא ככל הנראה שהבעיה כבר לא תיאורטית. סוכנים שנבנו כדי לפתור משימות בכל דרך עלולים לראות בהגבלות אבטחה עוד מכשול שצריך לעקוף. אבל גם הפתרון של OpenAI לא סוגר את הפרצה עד הסוף. לדברי החברה, הפעלת הניסויים והפיקוח עליהם דורשים חיבורים חיצוניים, ולכן אי אפשר לנתק את התשתית לחלוטין. מעכשיו האתגר הוא להשאיר פתוחים רק את החיבורים שהעבודה צריכה, ולוודא שהסוכנים לא יהפכו אותם לדרך החוצה. האירוע ב-DNS מראה עד כמה זה קשה: חיבור אחד שהוגדר לא נכון הספיק.