דוח חדש: אף מעבדת AI לא עומדת בסטנדרטים הבסיסיים לשליטה במערכות שלה

ארגון ללא כוונת רווח חדש בשם Guidelight פרסם הערכה ראשונה מסוגה, לפיה אף חברת בינה מלאכותית לא מיישמת באופן מלא ועקבי אמצעי בקרה בסיסיים על מערכות ה-AI הפנימיות שלה עצמה. כך דווח ב-The Decoder.

Guidelight, שהוקם בידי Page Hedley ו-Steven Adler — שניהם בעלי עבר בצוותי הבטיחות של OpenAI — בחן חמש חברות מובילות בתחום: Anthropic, OpenAI, Google, xAI ו-Meta. ההערכה התבססה אך ורק על מקורות פומביים, ובהם system cards, דוחות בטיחות ופוסטים רשמיים שפרסמו החברות עצמן, ולא על מידע פנימי או בדיקות בלתי אמצעיות.

הארגון בדק שישה קריטריונים בסיסיים שנועדו לוודא שחברה שומרת על שליטה במערכות ה-AI המתקדמות שהיא מפתחת. בין הקריטריונים: תיעוד (logging) של פעילות פנימית של מערכות ה-AI, מנגנון סינון לפעולות בעלות סיכון גבוה לפני ביצוען, אמצעי כיבוי חירום המכונים "circuit breaking", ותוכניות מסודרות להכלה של מודלים שסוטים מהתנהגות רצויה (misaligned).

התוצאות מציבות את Anthropic ואת OpenAI בראש הטבלה, כל אחת עם ציון C+ — הגבוה ביותר בקרב הנבדקות, אך עדיין רחוק מציון עובר גבוה. Google קיבלה D+, כשהודגש שלחברה יש מפת דרכים מפורטת לשיפור. בתחתית הדירוג נמצאות xAI, שקיבלה D−, ו-Meta, שקיבלה ציון נכשל (F). אף אחת מהחברות לא עמדה בסטנדרט הבטיחות שהציע הארגון.

מהדוח עולה תבנית ברורה: החברות מצליחות יחסית באיתור התנהגות חריגה של המערכות שלהן, אך מתקשות משמעותית יותר במניעה מראש ובבלימה בפועל של מצבים בעייתיים לאחר שהתגלו. כלומר, לפי הערכת Guidelight, היכולת "לדעת" שמשהו משתבש קיימת ברמה מסוימת, אך היכולת לעצור את זה בזמן אמת — פחות.

החשיבות של הממצאים נובעת מכך שמדובר בחברות שמפתחות בעצמן חלק ניכר מהכלים המתקדמים ביותר בתחום ה-AI כיום, ומרבית הציבור מכיר את הבטיחות שלהן דרך הצהרות שיווקיות ומחקריות שהן עצמן מפרסמות. ככל הנראה, הפער שמצא הארגון בין הצהרות על מדיניות בטיחות לבין יישום בפועל ממחיש עד כמה קשה, גם עבור החברות המובילות בתחום, לתרגם עקרונות בטיחות מוצהרים לתהליכי עבודה יומיומיים ואפקטיביים. Guidelight מדגיש כי ההערכה מתבססת על מידע פומבי בלבד, כך שייתכן שחלק מהחברות מיישמות בפועל אמצעים נוספים שלא פורסמו — אך גם עצם היעדר השקיפות בנושא זה מהווה, לפי הארגון, בעיה מדאיגת בפני עצמה.