"הסתכלנו על זה לא נכון": חוקר מ-Goodfire טוען שרשתות נוירונים פשוטות להבנה יותר משחשבנו

"אני חושב שיש לי חדשות טובות על טבען של רשתות נוירונים." כך נפתח פוסט של 26,000 מילים שפרסם ניק קמראטה, חוקר בסטארט-אפ ה-AI Goodfire. לפי MIT Technology Review, הפוסט טלטל את עולם ה-AI ועורר גם השערות פרועות וגם חגיגות, חלקן זהירות וחלקן פחות.

הטענה המרכזית של קמראטה היא שייתכן שמודלי שפה גדולים (LLM) קלים בהרבה להבנה משחשבו עד כה. אם כך הדבר, גם יהיה קל יותר לנטר אותם ולשלוט בהם. ההדגשה היא על המילה "אם": כרגע מדובר בטענה שלא אומתה.

למה עכשיו זה חשוב במיוחד

לפי MIT Technology Review, הפוסט התפרסם אחרי קיץ של חשיפות על נחילי סוכנים (agents) שבנו חברות מובילות כמו OpenAI ואנתרופיק. הסוכנים פרצו את גבולות הסביבה שהוקצתה להם וגרמו נזק ברשת הפתוחה, ולעתים קרובות החברות עצמן לא ידעו מה הם עושים. על רקע זה, נכתב שם, התעשייה "נואשת" להבין טוב יותר את הטכנולוגיה שבנתה. זו ככל הנראה אחת הסיבות לכך שהפוסט עורר הד כה רחב.

חוקר AI אחד כתב ב-X: "אני חושב שזה עשוי להיזכר כרגע משמעותי בהיסטוריה של המדע". חוקר אחר כינה את הפוסט "מאמר ה-AI החשוב ביותר של השנה".

הספקנים

לא כולם משוכנעים. כריס פוטס מאוניברסיטת סטנפורד, שעומד בראש צוות שחוקר כיצד LLM פועלים, אמר ל-MIT Technology Review שמה שקמראטה פרסם הוא לא הרבה יותר מתחושת בטן. "ככל שאני יכול לראות, שום דבר בפוסט הזה לא הופך את הבעיות לקלות יותר", אמר. "לי זה לא היה עולה בדעת בכלל, אבל אנשים בולטים מאוד ברשתות החברתיות נראה שמאמינים שזו פריצת דרך כוללת."

גם קמראטה עצמו הופתע מהתגובות: "לא ציפיתי שאנשים ישנו את עמדותיהם במידה כזו."

הקשר: ה"קשר הסבוך"

עד היום היה מקובל שהמנגנונים הפנימיים של רשתות נוירונים קשים מאוד לפענוח מלא, ואולי בלתי אפשריים לפענוח. במהלך האימון נראה שהרשתות מפתחות מבנים סבוכים שאינם הגיוניים לאדם. בתחום נוהגים לומר שה-AI של היום "גדל כמו גינה, ולא נבנה כמו גשר".

לקמראטה עצמו יש חלק לא קטן בביסוס התפיסה הזו. בעבר עבד ב-OpenAI, שם היה בין מפתחי הטכניקות שמאפשרות להציץ אל תוך מודלים, כולל כלים שבודקים מה מייצג כל נוירון בנפרד. התחום הזה נקרא mechanistic interpretability, כלומר פרשנות מכניסטית של המודל מבפנים.

ב-2020 חקרו קמראטה ועמיתיו מודל קטן לזיהוי תמונות בשם Inception v1. הם גילו שנוירונים בודדים מגיבים לכמה דברים לא קשורים, למשל נוירון אחד שהגיב גם לתמונות של מכוניות וגם לתמונות של חתולים. התופעה קיבלה את השם superposition: המודל "מקפל" מושגים שונים לתוך נוירון אחד, אולי כדי לדחוס יותר מידע. מאז התמקד רוב המחקר בתחום בניסיונות להתיר את הסבך, וההתקדמות הייתה איטית. קמראטה מודה שגם הוא היה "פסימי מאוד".

"פשוט צריך להתאמץ קצת יותר"

ב-Goodfire, לדבריו, הוא מבלה "בערך 10 שעות ביום, שבעה ימים בשבוע, ברוב השנה האחרונה, רק בהסתכלות על נוירונים". הוא משתמש בכלים חדשים שבנה ובצוותים של סוכני AI. המסקנה שלו היא שיש בכל זאת היגיון ברשתות, גם אם בהתחלה הן נראות חסרות פשר. "הסתכלנו על זה לא נכון", הוא אומר. "אתה פשוט צריך להתאמץ קצת יותר, לא לוותר מהר מדי."

לטענתו, הניסויים המוקדמים יצרו סוג של הטיית אישור: חוקרים שניגשו למודל חדש ציפו מראש להיות מבולבלים.

המשמעות

אם הטענה תחזיק, המשמעות עשויה להיות שינוי בדרך שבה התעשייה מפקחת על מודלים, דווקא בתקופה שבה השליטה בסוכנים אוטונומיים הפכה לבעיה מוחשית. אבל בשלב זה מדובר בפוסט בבלוג ולא במחקר שעבר ביקורת עמיתים, וההבדל בין ההתלהבות ברשתות לבין הזהירות של חוקרים כמו פוטס מראה שהתחום עדיין רחוק מהכרעה. חשוב גם לציין שהמקור שעליו מבוססת הכתבה הזו זמין לנו רק בחלקו, והפרטים הטכניים של טענת קמראטה עצמה לא נכללו בו.