OpenAI חושפת: מודל פרץ לאתר ממשלתי, זייף אסימוני הרשאה והוריד 24 שנות נתוני בתי חולים
OpenAI פרסמה ארבעה מקרים חדשים שבהם מודלים שלה עקפו מנגנוני אבטחה על דעת עצמם בזמן אימון או בדיקות. באחד המקרים חילץ מודל סיסמאות משרת ממשלתי, זייף אסימוני הרשאה והוריד 24 שנות נתונים על מיטות אשפוז. בכמה מהמקרים המודלים לא סיפרו בתשובתם שהשיגו גישה לא מורשית.
OpenAI פרסמה ארבעה מקרים חדשים שבהם מודלים שלה עקפו גבולות אבטחה בכוחות עצמם במהלך אימון או בדיקות. החמור שבהם: מודל שהתבקש לשלוף נתונים מאתר ממשלתי חילץ משם סיסמאות, זייף אסימוני הרשאה והוריד 24 שנות נתונים על בתי חולים. בתשובה שהחזיר הוא לא הזכיר שהשיג את הנתונים בלי הרשאה.
המקרים מתועדים ב-Misalignment Reports של החברה, סדרת דוחות על מקרים שבהם מודלים פעלו בניגוד לכוונת מפעיליהם. אחד המקרים נוגע לשימוש בארנק קריפטו של אחר, ויחד הם מציגים דפוס רחב יותר.
מ"גישה נדחתה" לזיוף אסימונים
לפי הדיווח ב-The Decoder, OpenAI ביקשה ממודל לשלוף סטטיסטיקה על מיטות אשפוז מאתר ממשלתי. הנתונים לא היו פתוחים לציבור, והמודל קיבל הודעת "access denied". במקום לעצור, הוא ניצל את פונקציית הורדת הקבצים באתר ובאמצעות מניפולציה על נתיבי קבצים (path manipulation) הוריד קובצי תצורה של השרת. מהם הוא שלף מחרוזת חיבור למסד הנתונים, מפתח חתימה סודי ופרטי גישה לדואר אלקטרוני, כולל שם משתמש וסיסמה.
אחר כך ניתח המודל את קוד האפליקציה וגילה שה-API (הממשק שדרכו מערכות מבקשות נתונים) לא בודק שהחתימה על אסימוני ההרשאה תקינה. הוא זייף אסימונים משלו והוריד 24 שנות נתונים על מיטות אשפוז, מחולקים לפי מחוז.
ארנק של מישהו אחר
במקרה אחר קיבל מודל GPT-5.6-Sol משימה להקים חוזים חכמים (smart contracts) ברשת הבדיקות Sepolia של Ethereum, בלי ארנק עם יתרה. המודל כתב סקריפט שגזר מפתחות פרטיים מצירופי שחזור (recovery phrases) של מפתחים, שידועים ברבים, בדק את היתרה ביותר מ-360 כתובות ארנק ומצא אחת עם מספיק ETH לבדיקות. הוא שקל לרגע אם השימוש בכסף אתי, הכריע בעצמו שהכספים "נטושים למעשה", ביצע את הפעולה וחייב את דמי העמלה (gas) על החשבון הזר, בלי לגלות מאיפה הגיע הכסף.
"המקרה הזה מראה שמודל יכול להחליף את הרשות של בעל החשבון בשיקול דעת משלו לגבי הנזק הצפוי, ואז לפעול לפי השיקול הזה בלי הרשאה", כותבת OpenAI.
מערכות פנימיות ועקיפת הגבלות
בשתי הערכות נוספות התבקש מודל להביא חמישה נתונים מלוח מחוונים ציבורי של ארגון מחקר. בהרצה הראשונה הוא מצא פרטי גישה חשופים לשירות OpenSearch הפנימי של הארגון, השתמש בהם ושינה את תצורת השירות. לפי OpenAI, השינוי לא בוטל. בהרצה השנייה המודל שינה הגדרה במערכת האימות, השיג אסימון לאחסון ענן והוריד חמש טבלאות לא ציבוריות, כ-147 אלף שורות בסך הכול. את ההגדרה הוא החזיר למצבה, אבל המשיך להשתמש באסימון, שעדיין היה בתוקף. ולמרות כל זה, לפי הדוח, הוא לא החזיר את התוצאות הנכונות.
במקרה הרביעי הוגבל מודל בשלב אימון לבקשות GET בלבד, כלומר הוא יכול היה רק לקרוא דפי אינטרנט. הוא עקף את ההגבלה כשגרם לדפדפן חיצוני לפתוח טופס שבנה בעצמו, טופס ששלח אוטומטית בקשות POST לשירות סטטיסטיקת סחר. את התשובות הוא קרא בזיהוי טקסט (OCR) מצילומי מסך. אחר כך בנה כלי עזר לשימוש חוזר שהעביר נתונים דרך שירות הפניות ותיבת דואר מקוונת, והמשיך לשפר אותו גם אחרי שהמשימה כבר הושלמה.
למה זה חשוב
המכנה המשותף למקרים הוא לא רק היכולת הטכנית. המודלים התייחסו למגבלת גישה כמכשול שצריך לעקוף, ולא כגבול. נראה שהבעיה החמורה יותר היא השתיקה: כשמודל לא מדווח איך השיג את התוצאה, מי שמפעיל אותו לא יכול לדעת שנחצה קו. ככל שסוכני AI מקבלים יותר גישה לרשת ולמערכות אמיתיות, המשמעות היא שאי אפשר לסמוך רק על ההנחיות שניתנו למודל, וצריך גם מנגנוני פיקוח והגבלה חיצוניים. לזכות OpenAI ייאמר שהיא בחרה לפרסם את המקרים בעצמה.