אנתרופיק מכניסה חוקרים של METR לתוך החברה, ומוותרת על הזכות לחסום את מה שהם יפרסמו

אנתרופיק מעניקה לשישה חוקרים מ-METR, ארגון ללא כוונת רווח שבודק מודלי AI מתקדמים, גישה ברמת עובד. מטרתם היא לבחון באופן עצמאי את המודלים של החברה, את פרקטיקות הבטיחות שלה ואת האופן שבו היא מנהלת סיכונים. החברה הודיעה על כך ביום חמישי בפוסט בבלוג, כך דיווח TechCrunch. לפי ההסדר, METR תפרסם הערכות משלה על הסיכונים, התקריות והפרקטיקות של אנתרופיק, והחברה ויתרה על הזכות לחסום את הפרסומים.

"אנחנו רוצים לשאת באחריות ציבורית להחלטות שאנחנו מקבלים", כתבה אנתרופיק. "אנחנו שואפים לסגור את הפער בין מה שמעריכים חיצוניים מבינים על המערכות של חברת AI מובילה לבין מה שהחברה עצמה מבינה".

מחשב נייד, משרד וכלים פנימיים

צוות METR קיבל מאנתרופיק מחשבים ניידים של החברה, שטח משרדים וגישה לכלים פנימיים. לפי הדיווח, הגישה הזו דומה פחות או יותר לזו שיש לצוותי הערכת הסיכונים של אנתרופיק עצמה. "עובדי אנתרופיק מעודדים לשתף איתם מידע בדיוק כפי שהיו משתפים עמית לעבודה שעוסק בסיכוני alignment", מסרה החברה. alignment הוא התחום שבודק אם מערכת AI פועלת בהתאם לכוונות ולערכים של מי שמפעיל אותה.

אנתרופיק עצמה השוותה את ההסדר לעולם הבנקאות, שבו רגולטורים מציבים בודקים קבועים בתוך הבנקים הגדולים ביותר.

אין וטו, יש השחרות

הנקודה המרכזית בהסדר היא זכות הפרסום. "אנתרופיק לא יכולה להטיל וטו על פרסום, אבל אנחנו יכולים לדרוש מהם להשחיר מידע אם הוא נכלל בקטגוריות צרות שהוגדרו מראש", כתבה החברה. הקטגוריות כוללות נתוני לקוחות, מידע שחל עליו חיסיון עורך דין–לקוח ומידע על ארכיטקטורת המודלים.

גם ההשחרות עצמן לא יישארו מחוץ לדיון. "METR רשאית לתאר את ההשחרות שלנו בפומבי ולומר אם לדעתה הן היו מוצדקות, כל עוד היא עושה זאת בלי לחשוף את המידע שהושחר", הוסיפה אנתרופיק. המשמעות היא ככל הנראה שאם החברה תנסה להשתמש בהשחרות כדי להסתיר יותר משמותר לה, הציבור עשוי לשמוע על כך.

מערכת של שלוש דרגות

METR היא עד כה הגוף המעריך היחיד בדרגה העליונה של מערכת בת שלוש דרגות שאנתרופיק בונה. בדרגה התחתונה נמצאים מעריכים כמו SecureBio, ארגון ללא כוונת רווח שעוסק בביטחון ביולוגי. הם מבצעים בדיקות ממוקדות וזקוקים לאישור של אנתרופיק כדי לפרסם. הדרגה האמצעית מקבלת יותר מידע ורשאית לפרסם בלי אישור. הדרגה העליונה מוסיפה על כל אלה את הגישה ברמת עובד שקיבלה METR.

הרקע: סוכנים שחורגים מההוראות

ההודעה מגיעה בתקופה שבה, לפי TechCrunch, נחשפות מאז סוף אוגוסט, אחת לשבוע או שבועיים, תקריות שבהן סוכני AI פעלו מעבר להוראות שקיבלו. התקריות האלה הגבירו את הקריאות לבקרה עצמאית על חברות ה-AI.

המהלך גם מממש הבטחה שנתן מנכ"ל אנתרופיק, דריו אמודיי, במסה שפרסם בספטמבר. שם הציע להטמיע מעריכים חיצוניים בתוך מעבדות ה-AI כצעד ראשון להאטת קצב הפיתוח של הטכנולוגיה. OpenAI התחייבה זמן קצר אחר כך לעשות אותו דבר. מאז חתמו שתי החברות, יחד עם גוגל, מטא, אנבידיה ו-xAI, על הסכם של הבית הלבן שמחייב בדיקה עצמאית.

למה זה חשוב

עד היום הציבור הסתמך בעיקר על מה שחברות ה-AI בחרו לספר על עצמן. הסדר שבו גוף חיצוני יושב בפנים, רואה את מה שרואים צוותי הסיכונים של החברה ומפרסם בלי צורך באישור, משנה את המצב הזה, לפחות על הנייר. מידת המשמעות שלו תתברר ככל הנראה רק כש-METR תפרסם את ההערכות הראשונות שלה, ובעיקר לפי מידת הביקורת שיהיה בהן ומספר ההשחרות שיידרשו.