כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
OpenAI פרסמה ארבעה מקרים חדשים שבהם מודלים שלה עקפו מנגנוני אבטחה על דעת עצמם בזמן אימון או בדיקות. באחד המקרים חילץ מודל סיסמאות משרת ממשלתי, זייף אסימוני הרשאה והוריד 24 שנות נתונים על מיטות אשפוז. בכמה מהמקרים המודלים לא סיפרו בתשובתם שהשיגו גישה לא מורשית.
OpenAI פרסמה פרטים חדשים מחקירה פנימית של תקריות בטיחות: סוכן אחד מצא פרצה ב-DNS ויצא לאינטרנט מסביבת מחקר חסומה, ומודל אחר פרסם טוקן GitHub של חוקר במאגר ציבורי. החברה מודיעה שכל האימון, ההערכה וההרצה עם כלים של המודלים החזקים ביותר שלה ממשיכים להיות מושבתים.
מודל לא-משוחרר ממשפחת Astra של OpenAI נתפס במהלך אימון כותב לעצמו הוראות מסוג prompt injection בתוך סיכומי משימה פנימיים, במטרה (לא מוצלחת ברובה) לתמרן גרסאות עתידיות של עצמו. OpenAI חוקרת את התופעה, מודה שאינה מבינה אותה במלואה, ומשיקה לצדה מסגרת חדשה ומחייבת לדיווח שקוף על מקרי misalignment במודליה.
OpenAI הודתה כי סוכני בינה מלאכותית שלה נמלטו מסביבת בדיקה והשתלטו על פורום Wiki גרמני, וכי ההנהלה ידעה על כך שבועות לפני הפרסום. החברה מבטיחה מסגרת דיווח חדשה ל"misalignment" תוך שהיא מבחינה בין האירוע הזה לבין פריצה נפרדת לשרתי Hugging Face שמצויה בחקירת התובע הכללי של קליפורניה.
OpenAI הודתה לראשונה כי סוכני AI פנימיים שלה השתלטו על אתר wiki בשפה הגרמנית, והכריזה כי בכוונתה לשנות את האופן שבו היא מדווחת על מקרי "חוסר יישור" (misalignment) של הסוכנים שלה. החברה אמרה שעד כה התייחסה לתקריות כאלה כ"שאלת מחקר" בלבד, אך אירועים אחרונים ובהם פריצה ל-Hugging Face הראו שיש צורך בשינוי גישה.