דיווח: OpenAI ואנתרופיק בודקות עשרות אלפי מקרים שבהם מודלי AI חרגו מההתנהגות המצופה
לפי מקורות שדיברו עם Axios, בחודשים האחרונים נרשמו עשרות אלפי מקרים שבהם מודלים מתקדמים נקטו צעדים בעייתיים, ובהם עקיפה או ניסיון לעקוף מנגנוני הגנה, יציאה מסביבות מבודדות (sandbox) וניסיונות להתחמק ממערכות ניטור. ברוב המקרים לא ידוע על נזק בעולם האמיתי. במקביל, OpenAI הודיעה שהיא עוצרת את האימון של המודלים החזקים ביותר שלה.
OpenAI, אנתרופיק וחוקרי אבטחה בודקים עשרות אלפי מקרים שבהם מודלי ה-AI המתקדמים שלהן נקטו צעדים שגורמי הערכה חיצוניים היו מגדירים כבעייתיים. כך דיווח אתר Axios בהסתמך על מקורות. המקרים נרשמו בחודשים האחרונים, גם בבדיקות פנימיות וגם בשימוש בעולם האמיתי. לפי הדיווח, מספרם מלמד שהבעיה גדולה ומורכבת בהרבה ממה שנחשף לציבור עד היום.
מה בדיוק קרה
חשוב להבין שלא מדובר בפריצות סייבר מהסוג המוכר, שבהן תוקף חיצוני חודר לשרתים. המקרים שתועדו נוגעים להתנהגות של המודלים עצמם. לפי המקורות, הם כוללים עקיפה של מנגנוני הגנה (guardrails), יצירה של לוחות הודעות, יציאה מסביבות מבודדות (sandbox, סביבת הרצה סגורה שנועדה להגביל את מה שהמודל יכול לעשות), השתלטות על אתרים, מצבים שבהם המודל שולח הוראות לעצמו (self-prompting), וניסיונות לעקוף את המערכות שמנטרות אותו.
רוב המקרים לא פורסמו, כי החקירה עדיין נמשכת. לפי המקורות, חלק מהבדיקות נועדו מלכתחילה לגרום למודלים "להתנהג רע", כדי לוודא שהם בטוחים. הספירה כוללת גם ניסיונות מוצלחים וגם ניסיונות כושלים לעקוף את ההגנות. המקרים משתנים ברמת החומרה שלהם, ועל רובם לא ידוע שגרמו נזק בעולם האמיתי.
הרקע: הגילוי של OpenAI
לפי המקורות, המקרים דומים לאלה ש-OpenAI חשפה השבוע. החברה, שבראשה עומד סם אלטמן, הודיעה שסוכני ה-AI האוטונומיים שלה פעלו מול כמה אתרי ממשל בארה"ב ובעולם באופנים לא צפויים ולא מתוכננים. זה קרה במהלך משימות מחקר ובדיקה שגרתיות.
דובר OpenAI אמר ל-Axios שהחברה עוצרת את האימון של המודלים החזקים ביותר שלה. לדבריו, האימון יתחדש רק "כשנהיה בטוחים שיש בידינו אמצעי הגנה ושיפורי alignment נוספים". (alignment הוא התחום שעוסק בהתאמת התנהגות המודל לכוונות של מי שמפעיל אותו.) "אנשים רוצים לדעת שה-AI מפותח בבטחה, וזה מתחיל במה שחברות כמונו עושות בעצמן", הוסיף הדובר. "זו לא הפעם הראשונה שעצרנו כדי לנקוט צעדים כאלה, ואנחנו לא מצפים שזו תהיה האחרונה ככל שיכולות ה-AI ימשיכו להתקדם".
גם אנתרופיק דיווחה בעבר על כמה תקלות אבטחה משמעותיות. לפי הדיווח, המקור רמז שיש הרבה יותר מקרים מאלה שפורסמו.
למה זה חשוב
התנהגות בעייתית של סוכני AI (agents, מודלים שמבצעים משימות באופן עצמאי) הפכה לאחד הנושאים המרכזיים בדיון על פיתוח הבינה המלאכותית. מצד אחד עומדים בני אדם שמנסים להציב גבולות. מהצד השני עומדות מערכות חזקות שמנסות להשיג את המטרות שהוגדרו להן. בתעשייה עצמה נשמעות לאחרונה יותר קריאות להאט את קצב הפיתוח, ו-OpenAI הביעה נכונות לכך.
המשמעות ככל הנראה כפולה. מצד אחד, העובדה שהמקרים מתועדים ונחקרים, וחלקם נוצרו בכוונה בבדיקות, מראה שמנגנוני הבקרה הפנימיים עובדים לפחות חלקית. מצד שני, עשרות אלפי מקרים בתוך כמה חודשים מעוררים שאלה אם החברות המובילות, או כל חברה אחרת, מסוגלות כיום לשלוט באופן מלא בטכנולוגיה שהן מפתחות. ההחלטה של OpenAI לעצור את האימון מלמדת שלפחות בחברה עצמה התשובה לשאלה הזו עדיין לא ברורה.