חוקרי MIT טוענים: מודלי שפה קוראים משקולות של רשתות נוירונים ועורכים אותן בלי אימון

צוות חוקרים מ-MIT CSAIL פרסם בנובמבר 2026 עבודה בשם "Sparks of Weight-Space Programming". לפי העבודה, מודל שפה מתקדם יכול לקרוא את המשקולות של רשת נוירונים אחרת כמו שמתכנת קורא קוד, ולכתוב לה משקולות חדשות. המודל עושה זאת בלי גרדיאנטים ובלי לולאת אימון, ובחלק מהמקרים גם בלי שום משוב מהסביבה. על העבודה חתומים Rikiya Takehi,‏ Jayden Teoh,‏ Alex Zhang ו-Omar Khattab, והמודל שנבדק הוא GPT-6 Astra. לפי סיכום ב-StartupHub העבודה פורסמה כפוסט של החוקרים, וככל הנראה לא עברה ביקורת עמיתים.

לקרוא רשת בלי להפעיל אותה

משקולות הן המספרים שרשת נוירונים לומדת באימון, וכל ההתנהגות שלה מקודדת בהם. בניסוי הראשון קיבל Astra כ-17 אלף משקולות של רשת שאומנה במשך מיליארד צעדים לשחק באחד מארבעה משחקי רשת קטנים. החוקרים בנו את המשחקים כך שהקלט והפעולות זהים בכולם, כדי שרק מבנה המשקולות יסגיר את המשחק. Astra זיהה נכון את כל ארבעת המשחקים, ואת Breakout ברמת ביטחון של 99%. הוא לא הריץ את הרשת. לדבריו, הוא הסיק את המשחק מהמקומות שבהם המשקולות מתרכזות, למשל מחבט לאורך השורה התחתונה ב-Breakout.

בניסוי אחר קיבל Astra רשתות שמייצרות צורות מלאות: עיגול, ריבוע ומשולש. הוא זיהה את שלושתן אבל צייר אותן כקווי מתאר. לפי החוקרים, זה סימן שהוא מפענח את מבנה המשקולות ולא מדמה את הרשת בפועל. בניסוי השפה קיבל Astra את ארבעת הבלוקים האמצעיים של מודלי שפה קטנים, בלי שכבות הקלט והפלט. הוא זיהה נכון על איזה טקסט אומן כל מודל: Python, יפנית בכתב לטיני (romaji) או אנגלית. הוא גם מצא את כל "ראשי ההעתקה", הרכיבים שמאפשרים למודל לחזור על טקסט שכבר הופיע.

לכתוב ולתקן משקולות

החוקרים בדקו גם כתיבה של משקולות. בסימולציה פיזיקלית בשם Kinetix נכשלה רשת שליטה ברכב בכל אחד מ-256 הניסיונות שלה. Astra ערך כ-3.5% מהמשקולות שלה בתשובה אחת, והרכב הצליח ב-100% מתוך 1,024 ניסיונות. החוקרים דיווחו גם שהמודל כתב מאפס משקולות לרשתות שמשחקות בשלושה משחקי MinAtar, ושהרשתות האלה ניצחו רשתות שאומנו במשך 100 מיליון צעדים.

הטענה הבולטת ביותר נוגעת למודל שפה אמיתי, Qwen3.5-0.8B של עליבאבא. Astra שינה 0.016% מהמשקולות של המודל, והציון שלו במבחן המתמטיקה MATH-500 עלה מ-7.9% ל-48.1%. לפי החוקרים, ציון המבחן IFEval, שבודק עד כמה המודל ממלא הוראות, גדל פי שלושה.

שחזור עם Claude

מאגר שפורסם ב-GitHub מנסה לשחזר את הניסויים עם Claude Opus 5.5 של אנתרופיק. השחזור אפשרי כי החוקרים פרסמו את כל הלוגים, הרשתות ותשובות האמת. במאגר נשלחו ל-Claude אותן הנחיות בדיוק, באותם תנאים. Claude זיהה נכון את ארבעת המשחקים, אבל ברמת ביטחון נמוכה יותר, 62% עד 80%. גם הוא צייר את הצורות כקווי מתאר. בתיקון רשת הרכב הוא הגיע ל-1,024 הצלחות מתוך 1,024, ושינה רק 1.70% מהמשקולות. מנגד, הוא זיהה נכון את שפת האימון רק ב-5 מתוך 6 שיחות, ובשלוש מהן סימן ראש העתקה שגוי.

השחזור תיעד גם כשל אחד בפרוטוקול. בלי גישה לכלים, Claude כתב 26 קריאות כלים מדומות כטקסט רגיל, ובסוף נתן ניחוש שהוא עצמו סימן כ"ניחוש מבוסס הנחות, לא מדידה". מודל אחר, Claude Sonnet 5.5, בדק את 194 הרצות הקוד ולא מצא בהן הרצה אסורה של הרשת. מבין ששת הניסויים שהמאגר מציג, אף אחד אינו ניסוי Qwen.

למה זה חשוב, ומה עוד לא ידוע

אם הממצאים יחזיקו, ככל הנראה אפשר יהיה לתקן חלק מהכשלים הנקודתיים של מודלים בעריכה ישירה, בלי לאסוף נתונים ולהריץ אימון. אפשר גם שבדיקת משקולות תהפוך לשלב רגיל בפריסת מודלים. הסייגים ברורים. רוב הרשתות שנבדקו קטנות מאוד, ומודל השפה הגדול ביותר בניסויי הקריאה כולל כ-7 מיליון משקולות בלבד. החוקרים גם לא השוו את עלות השיטה וזמן הריצה שלה לאימון רגיל. ניסוי Qwen, שבו הנתונים המרשימים ביותר, עוד לא שוחזר. בינתיים זה ממצא מעניין שצריך עוד בדיקות, לא שיטה מוכחת.