חוקר שעזר לנסח את תיאוריית ה-superposition חוזר בו: לטענתו, רוב הנוירונים במודלי AI ניתנים לקריאה
ניק קמרטה מ-Goodfire טוען במסה חדשה שרשתות נוירונים מסודרות הרבה יותר משחשבו: לפי נתונים ראשוניים שהציג, כ-90% מ"קטבי הנוירונים" במודל Qwen3-32B ממלאים תפקיד מרכזי אחד. אם הוא צודק, ייתכן שיהיה אפשר לזהות הטעיה והתנהגות מסוכנת ישירות בתוך המודל, אבל חוקרים בתחום חלוקים בשאלה אם הממצא אכן פריצת דרך.
אחד ההסברים שהשפיעו יותר מכל על הדרך שבה חוקרים מבינים את פנים מודלי הבינה המלאכותית ספג ביקורת, ומי שמותח אותה הוא אחד מהאנשים שעזרו לנסח אותו. במסה ארוכה בשם "Neural Networks Are Already Clean" ("רשתות נוירונים כבר נקיות") טוען ניק קמרטה, חוקר במעבדת ה-interpretability Goodfire, שהמבנה הפנימי של מודלים גדולים קל להבנה הרבה יותר ממה שהיה מקובל לחשוב. התגובות בקהילה חלוקות: Roon מ-OpenAI כינה זאת רגע היסטורי, ואילו ניל ננדה, חוקר בגוגל דיפמיינד, הזהיר מפני הגזמה.
הקשר שלא היה קשר
התחום הנקרא mechanistic interpretability (פרשנות מכניסטית) מנסה להבין לא רק מה מודל עונה, אלא גם איך הוא מגיע לתשובה מבפנים. במצב האידיאלי כל אחד ממיליוני הנוירונים המלאכותיים היה מייצג מושג אחד שאפשר לזהות. בפועל נראה שנוירונים רבים מגיבים לדברים שאין ביניהם שום קשר, תופעה שנקראת polysemanticity.
הדוגמה המפורסמת היא נוירון במודל התמונות InceptionV1 שהגיב גם לפני חתולים וגם לחזיתות של מכוניות. ההסבר המקובל היה superposition: כשאין לרשת מספיק נוירונים, היא דוחסת לתוך אותו נוירון מושגים שאינם קשורים זה לזה, כי הם כמעט לא מפריעים זה לזה. לכן מעבדות רבות מאמנות מודל שני, למשל sparse autoencoder, כדי להפריד בין המושגים, ואז חוקרות אותו במקום את המודל המקורי.
לקמרטה היה חלק מרכזי בעיצוב התפיסה הזו. יחד עם כריס אולה הוא כתב את המאמר "Zoom In", שהציג את מעגל ה-superposition הראשון. ב-2023 הוא הקים ב-OpenAI פרויקט interpretability אוטומטי, ואז רק כ-1.7% מהנוירונים נחשבו מובנים, גם לפי המדד הנדיב ביותר.
עכשיו הוא טוען שהדוגמאות המפורסמות פורשו לא נכון. לדבריו, נוירון "החתול-מכונית" הוא בעצם גלאי של צורת V: צורות מחודדות כמו חוטם של שועל או להבה מפעילות אותו, וצורות עגולות כמו האות O מורידות את ההפעלה שלו לערך שלילי. במעגל מ-"Zoom In", שבו נדמה היה שמכונית "מסתתרת" בין נוירונים של כלבים, הוא רואה הכללה רגילה: המעגל מקבץ מכוניות וכלבים לפי הכיוון שאליו הם פונים ביחס למצלמה. את הבלגן בשכבות המאוחרות של InceptionV1 הוא מייחס לארכיטקטורה מיושנת ולכלי ניתוח חלשים.
את העמימות שעדיין נשארת הוא מסביר בדפוס שהוא מכנה "הכללה רקורסיבית": נוירון שזיהה את רצף האותיות "iy" התחיל להגיב גם ל-"diy", ובהמשך גם ל-"do it yourself", ביטוי שאין בו "iy" בכלל. לדבריו, בניגוד ל-superposition, קבוצות כאלה מלמדות משהו על הרשת.
המספרים
לגבי מודלי שפה קמרטה מציג נתונים ראשוניים. במודל Qwen3-32B, כ-90% מ"קטבי הנוירונים" (neuron poles, ככל הנראה ההתייחסות היא לכל אחד משני כיווני ההפעלה של נוירון, החיובי והשלילי) ממלאים תפקיד מרכזי אחד, וכ-7% ממלאים שני תפקידים קשורים. רק 2% עד 4% נשארים בלי הסבר. ב-Goodfire אומרים שהם רואים תוצאות דומות במודלים בגודל של עד טריליוני פרמטרים. את רוב העבודה עשו סוכני AI שמנתחים נוירונים בכמויות גדולות.
קמרטה לא מציג שיטה חדשה מיסודה. הוא חוזר לגישה המקורית של התחום, חקירה ישירה של נוירונים, רק עם כלים טובים יותר, מודלים גדולים יותר וסוכנים אוטומטיים. בהשראת המאמר "Bitter Lesson" של ריץ' סאטון הוא מסיק שגם ב-interpretability, חקירה פשוטה בקנה מידה עצום מנצחת שיטות פירוק מתוחכמות.
למה זה חשוב
אם קמרטה צודק, זו בשורה בעיקר לתחום בטיחות ה-AI. כיום, מלבד מעקב אחרי שרשרת המחשבה (chain of thought) של המודלים, שלפי The Decoder הופך לפחות ופחות אמין, אין הרבה דרכים לדעת אם מודל מטעה את המשתמשים. רשת שאפשר לקרוא אותה ברמת הנוירון הבודד עשויה לאפשר לזהות הטעיה או התנהגות מסוכנת ישירות במעגלים הפנימיים, בלי להסתמך על מה שהמודל בוחר להציג כלפי חוץ.
עם זאת, כדאי לזכור את ההסתייגויות. הנתונים מוגדרים ראשוניים, הטענה על מודלים בני טריליוני פרמטרים מגיעה מ-Goodfire עצמה, וחוקרים בולטים כמו ננדה ממליצים לא להיסחף. ההערכה היא שרק בדיקה עצמאית, שתשחזר את התוצאות על מודלים נוספים, תכריע אם מדובר בשינוי כיוון של ממש בתחום או בפרשנות מחודשת שעוד צריך לבסס.