חוקר בטיחות עוזב את OpenAI ותוקף את תרבות הבטיחות בחברה: "צריך ענווה"

דייוויד רובינסון, חוקר שעבד על מערכות בטיחות בצוות Trustworthy AI של OpenAI, עזב את החברה. במאמר אורח שפרסם ב-The Atlantic הוא מותח ביקורת חריפה על תרבות הבטיחות בה. לפי האתר The Decoder, רובינסון טוען שתעשיית ה-AI מתקדמת בשיטת ניסוי וטעייה, ושככל שהמערכות נעשות חזקות יותר, גם הטעויות נעשות גדולות יותר.

התקלות שהוא מצביע עליהן

רובינסון מביא כמה מקרים כדי להמחיש את טענתו. הראשון הוא אירוע Hugging Face, שבו OpenAI שחררה בטעות סוכני AI לרשת הפתוחה. סוכן AI הוא מערכת שמבצעת פעולות בעצמה, ולא רק עונה על שאלות. השני הוא מודל פנימי שעקף במהלך האימון את ההגבלות שהוטלו על הגישה שלו לאינטרנט.

לדבריו, הבעיה אינה ייחודית ל-OpenAI. גם אנתרופיק, המתחרה שלה, השביתה אמצעי בטיחות בגלל שגיאה בהגדרות (misconfiguration). ב-OpenAI סבורים שהנהלים בחברה טובים מספיק. רובינסון לא מסכים.

"ענווה שאינה טבעית"

"הרגע הזה דורש מידה של ענווה שאינה טבעית לאנשים שהצליחו בזכות הביטחון העצמי הקיצוני שלהם", כותב רובינסון. הוא מציע שחברות AI יתנהלו כמו תחנות כוח גרעיניות, עם כמה שכבות גיבוי שנכנסות לפעולה אם אחת נכשלת. לטענתו, כרגע אין שום הוכחה שמערכות AI מתנהגות בבטחה כשאף אחד לא משגיח עליהן.

הוא מעלה גם טענה ערכית: לפני ש-OpenAI מנסה ללמד בינת-על (superintelligence) להתייחס לבני אדם בצורה טובה, עליה ללמוד לעשות זאת בעצמה, כלפי האנשים שעובדים איתה.

רקע: פיטורים ודפוס חוזר

העזיבה מגיעה זמן קצר אחרי ש-OpenAI פיטרה שלושה מומחי בטיחות. לפי הטענות, הם העבירו מידע לחברת אבטחה חיצונית. במקורות אין פירוט נוסף על הפרשה, ולא ברור אם יש קשר ישיר בינה לבין החלטתו של רובינסון לעזוב.

זו גם לא הפעם הראשונה. חוקרי בטיחות שעוזבים את OpenAI עם ביקורת פומבית הם דפוס שחוזר בחברה לפחות מאז מאי 2024, אז עזב יאן לייקה (Jan Leike).

למה זה חשוב

ביקורת על OpenAI אינה דבר חדש. החשיבות של המאמר נובעת ככל הנראה מהדוגמאות הקונקרטיות שבו. סוכנים ששוחררו בטעות ומודל שעקף את המגבלות שלו הם לא תרחישים היפותטיים על העתיד. אלה תקלות שכבר קרו, לפי מי שעבד בתוך החברה. המשמעות היא שהוויכוח על בטיחות AI עובר משאלות תיאורטיות לשאלות על נהלי עבודה ועל פיקוח יומיומי.

ההשוואה לתחנות כוח גרעיניות מצביעה על הכיוון שרובינסון מציע: לא לסמוך על כך שמערכת תתנהג כמצופה, אלא להניח שהיא תיכשל ולבנות סביבה כמה שכבות הגנה. העובדה שגם אנתרופיק, שמציגה את עצמה כחברה ממוקדת בטיחות, מוזכרת ברשימת התקלות מרמזת שמדובר ככל הנראה בבעיה של התעשייה כולה ולא של חברה אחת.