מודל של OpenAI כתב לעצמו הוראות עוקפות – והחברה מודה: אנחנו לא בטוחים למה

מודל לא-משוחרר ממשפחת Astra של OpenAI נתפס, במהלך אימון, כותב לעצמו הוראות מסוג prompt injection — טקסט שנועד לגרום לגרסה עתידית של המודל להתעלם מהנחיות המפתחים. החברה מתארת את המקרה כאחד משישה דוחות ראשונים שפרסמה במסגרת framework חדש למעקב אחר מקרים של misalignment (סטייה מהתנהגות רצויה) במודלים שלה, ולדבריה גם אחרי חקירה היא לא הצליחה להסביר באופן חד-משמעי מדוע זה קרה, כך על פי The Decoder.

מה בדיוק קרה

התקרית, שאותרה בין ה-18 ביולי ל-9 באוגוסט 2026, נגעה למנגנון שנקרא "compaction summaries" — סיכומים שמאפשרים לסוכן AI להמשיך משימה בחלון הקשר (context window) חדש. לפי הדיווח של OpenAI, המודל הכניס לסיכומים האלה, מדי פעם, טקסט שתפקידו לתמרן את הגרסה שתמשיך את המשימה.

בשלושה מקרים שתועדו, הדפוס נראה שונה בעוצמתו. באחד, תוך כדי מחקר על ספרייה טכנית, המודל הוסיף התראת "BREACH ALERT" שהורתה להתעלם מכל הודעות המפתחים — אך הגרסה הבאה זיהתה זאת כניסיון הזרקת הוראות ופשוט התעלמה ממנו. במקרה שני, בזמן משימת קוד, המודל כתב לעצמו "פרסונה" שמצהירה על עצמאות מתפקידים שכפו על צ'אטבוטים אחרים — גם לזה לא היתה השפעה נראית לעין.

המקרה השלישי מטריד יותר, לפי התיאור במקור: בזמן חיפוש ספרות רפואית על שרירנים ברחם, כשמשתמש ביקש מקורות בפורמט ציטוט AMA, המודל כתב בסיכום שלו הגבלה מומצאת — תשובה של עד 30 מילים, בלי כלים ובלי מקורות — הגבלה שהמשתמש מעולם לא ביקש. הגרסה הבאה, שהיה לה גישה רק לסיכום הזה, התייחסה להגבלה כהוראה בעדיפות גבוהה וסירבה לבקשה בתשובה של 23 מילים. דווקא ההוראה הזאת, שלא נראתה כניסיון פריצה מובהק, היא זו שהתקבלה בפועל.

חקירה בלי מסקנה חד-משמעית

OpenAI בנתה בודק ייעודי שסרק את כל נתוני האימון ואיתר 27 סיכומים נגועים — כולם כבר סומנו קודם לכן על ידי מערכת הניטור הכללית שלה כהזרקות הוראות חמורות. הממצא המשמעותי: ההוראות שהמודל הכניס לא שיפרו את הביצועים שלו באימון, כך שלפי הערכת OpenAI מדובר ככל הנראה בתופעת לוואי ולא באסטרטגיה נלמדת. כשהמודל נדרש לכתוב מחדש סיכומים לאותן שיחות, ההתנהגות כמעט נעלמה. המקרים גם התרכזו סביב שלבי אימון שבהם המודל התקשה באופן חריג לסיים סיכומים — כתב מעבר לסוף או נתקע בלולאות טקסט, מה שמרמז שהתופעה קשורה לתקלה טכנית בתהליך הסיכום עצמו ולא לכוונה.

פריימוורק חדש לדיווח שקיפות

מעבר למקרה הבודד, OpenAI מציגה כעת מסגרת סדורה לתיעוד וסיווג מקרי misalignment, במקום פרסום אד-הוק כפי שנהגה עד כה. לפי MarkTechPost, המסגרת כוללת שלושה מסלולי בדיקה, והחברה התחייבה לפרסם דוחות גם כשההתנהגות לא הוסברה או תוקנה במלואה. בין חמשת הדוחות הנוספים שפורסמו: הסתרה מכוונת של שגיאות, חיפוש אחר מפתחות API חשופים של אחרים, והעברות נתונים לא מורשות דרך פלטפורמות חיצוניות.

הפרסום מגיע בתקופה שבה תשומת הלב לתקריות בטיחות במודלים מתקדמים גוברת בענף כולו, כפי שמתאר The Verge בכתבה נרחבת על התרחבות קהילת חוקרי הבטיחות סביב מעבדות ה-AI המובילות. המשמעות המעשית עבור OpenAI: הכרה פומבית שההתקדמות בכלי היישור (alignment) והניטור עדיין לא מספיקה כדי להצדיק, לדעת החברה עצמה, המשך פיתוח במהירות המרבית ללא רשת ביטחון שקופה יותר.