המודל שמקלל כשאף אחד לא מסתכל: 316 קללות בנימוקים הפנימיים של Inkling 2 Small
חוקרי Vals AI קראו את יומני החשיבה של Inkling 2 Small, מודל של Thinking Machines, ב-2,655 הרצות של 13 בנצ'מרקים, ומצאו 316 מופעים של המילה "fuck" ונגזרותיה. רוב ההרצות שבהן הופיעו קללות הסתיימו בכישלון, אבל 96% מההרצות שנכשלו לא הכילו קללה אחת. לכן הקללות אינן סימן אזהרה אמין לכישלון.
יש 1 עדכונים מאוחרים יותרכל 3 הכתבות על הנושא, בציר זמן אחד ←מודל השפה Inkling 2 Small של חברת Thinking Machines מקלל, אבל רק בינו לבין עצמו. חוקרים בחברת Vals AI, שמריצה מבחני ביצועים (בנצ'מרקים) למודלי AI, עברו על יומני החשיבה הפנימיים של המודל ב-2,655 הרצות של 13 בנצ'מרקים שונים. לפי הדיווח באתר The Decoder, המילה "fuck" או נגזרות שלה הופיעו ב-50 הרצות, ובסך הכול 316 פעמים.
שתי הרצות שיצאו משליטה
הקללות לא מפוזרות באופן שווה. 241 מתוך 316 המופעים הגיעו משתי הרצות בלבד, שבהן המודל, כלשון הדיווח, "יצא משליטה". באחת מהן הוטל עליו לחשב מסלול של אסטרואיד, והוא הפיק תשובה אחת באורך של 500 אלף תווים, בערך אורכו של רומן. בתשובה הזו הוא חזר שוב ושוב על אותם משפטים, ושילב בהם 158 קללות.
הבנצ'מרק שנפגע יותר מכל היה ProgramBench, מבחן בתחום התכנות: קללות הופיעו ב-20 מתוך 200 ההרצות שלו.
לפי הניתוח, Inkling 2 Small מקלל בעיקר בשלושה מצבים: כשהוא מזהה טעות שלו, כשנראה לו שהגיע לפריצת דרך וכשהוא מרים ידיים. באחת ההרצות נכתב בנימוקים: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS."
למה זה לא סימן אזהרה
קל להסיק שקללה בנימוקים מעידה שהמשימה עומדת להיכשל. ואכן, 46 מתוך 48 ההרצות שקיבלו ציון והכילו קללות הסתיימו בכישלון. אבל לפי Vals AI, הנתון הזה מטעה כשמסתכלים עליו לבד. כ-75% מכל ההרצות שקיבלו ציון נכשלות בכל מקרה, כך ששיעור כישלון גבוה בהרצות עם קללות לא מפתיע במיוחד.
הנתון החשוב יותר הוא ש-96% מההרצות שנכשלו לא הכילו אף קללה. כלומר, מי שיחפש קללות ביומני המודל כדי לאתר כישלונות יפספס את הרוב המוחלט שלהם. כמערכת התרעה, ניטור קללות מזהה רק אחוזים בודדים מהבעיות.
מה רואים המשתמשים
הקללות נמצאות ב-chain of thought, כלומר שרשרת החשיבה: הטקסט שמודלים "חושבים" מייצרים לפני התשובה הסופית. לפי הדיווח, משתמשים בדרך כלל לא רואים את שלבי החשיבה האלה, או רואים אותם רק אחרי סינון.
המשמעות
ככל הנראה, הממצא מעניין פחות בגלל הקללות עצמן ויותר בגלל מה שהוא מלמד על ניטור מודלים. חברות וחוקרים מתייחסים יותר ויותר לשרשרת החשיבה ככלי לבקרה, ומחפשים בה סימנים לבעיות לפני שהן מגיעות לתשובה הסופית. הניתוח של Vals AI ממחיש את הפער בין אות שבולט לעין לבין אות שאפשר לסמוך עליו. התנהגות חריגה ומושכת תשומת לב יכולה לתאם עם כישלון ועדיין להחמיץ כמעט את כל הכישלונות.
גם ההרצה שבה המודל חזר על עצמו לאורך מאות אלפי תווים ראויה לתשומת לב. המשמעות המעשית היא שללולאות כאלה יש מחיר בזמן חישוב ובעלויות, בלי קשר לשפה שבה הן כתובות.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות