טענה חדשה: GPT-6 Astra ערך ישירות את המשקולות של מודל Qwen קטן ושיפר את ביצועיו במתמטיקה
פרויקט מחקר שפרסם את יומני הניסויים שלו טוען שמודל השפה gpt-6-astra של OpenAI מסוגל לקרוא משקולות של רשתות נוירונים ואף לכתוב אותן. לפי דיווח ברשת, עריכה של 0.016% מהמשקולות העלתה ציון מתמטיקה של מודל Qwen קטן מ-7.9% ל-48.1%. המספרים האלה מופיעים בכותרת של פוסט ברדיט, אבל לא במאגר הקוד, ולכן אינם מאומתים בשלב זה.
פרויקט מחקר חדש טוען שמודל שפה גדול (LLM) מסוגל לקרוא ולכתוב משקולות של רשתות נוירונים: אלה הם המספרים שמגדירים את התנהגותו של מודל AI. לפי הטענה, המודל מצליח לשנות אותן ישירות, בלי לעבור תהליך אימון רגיל. את הניסויים ערכו על gpt-6-astra של OpenAI, שנקרא בפרויקט "Astra". הטענה שמושכת את רוב תשומת הלב היא דיווח שהופץ ברדיט: לפיו, עריכה של 0.016% בלבד מהמשקולות של מודל Qwen קטן העלתה את הציון שלו במבחן מתמטיקה מ-7.9% ל-48.1%, בלי אימון מבוסס gradient.
חשוב לסייג: המספרים האלה, וגם הייחוס של המחקר לחוקרים מ-MIT, מופיעים בכותרת של פוסט ברדיט. הם אינם מופיעים בחומרים הרשמיים שעמדו לרשותנו. לכן יש לראות בהם בשלב זה טענה שלא אומתה.
מה כן מתועד
מה שאפשר לבדוק הוא מאגר היומנים שפורסם ב-GitHub. המאגר מלווה פוסט בבלוג בשם "Sparks of Weight Space Programming: LLMs can understand and write neural network weights", ולפי התיאור שלו הוא כולל את כל מה שנשלח למודל, את כל מה שהמודל החזיר (כולל סיכומים של תהליך החשיבה שלו), את הקוד שהריץ ואת קבצי ההערכה שמאחורי כל מספר בפוסט.
המאגר מתאר שמונה ניסויים:
- זיהוי: לזהות על איזה משחק אומנה רשת (Breakout, Pong, Pac-Man או Freeway), ולזהות מה מודל diffusion מייצר (עיגול, ריבוע או משולש), בלי להריץ את הרשת עצמה.
- שפה: להסיק איזו שפה למד מודל שפה מתוך הבלוקים האמצעיים שלו (Python, יפנית בכתב לטיני או אנגלית).
- תיקון: לתקן רשת כושלת בעריכה אחת של המשקולות שלה.
- כתיבה מאפס: לכתוב רשתות למשחקים פשוטים, ואף רשת למשחק Go עם 1.5 מיליון משקולות.
- התנהגות: לזהות איזה מודל שפה נוטה לחנופה (sycophancy).
- שיפור: לשפר מודל שפה במתמטיקה. זה הניסוי הרלוונטי לטענה המרכזית. לפי המאגר, הוא בוצע על Qwen3.5-0.8B של עליבאבא, מודל קטן יחסית, ובהמשך גם על Gemma 3 270M של גוגל.
לפי המאגר, המודל הופעל דרך Codex CLI כשכל הכלים המובנים שלו כבויים: בלי shell, בלי חיפוש ברשת ובלי עריכת קבצים. החוקרים כותבים שבדקו כל אחד מ-1,125 הסבבים ושכולם עברו בלי שימוש בכלים. בחלק מהניסויים, כולל ניסוי המתמטיקה, המודל הורשה לכתוב בלוק קוד Python אחד בכל סבב. הקוד רץ בסביבה מבודדת בלי גישה לרשת.
למה זה מעניין, ומה עוד לא ידוע
בדרך כלל משפרים מודל באמצעות אימון: מזינים לו דוגמאות רבות, ואלגוריתם מעדכן בהדרגה מיליוני משקולות. אם מודל אחד באמת מסוגל "להבין" את המשקולות של מודל אחר ולערוך אותן בצורה מכוונת, ייתכן שתיפתח דרך חדשה לשנות מודלים. אפשר גם שזה יעזור לחקור מה קורה בתוכם, וזו שאלה מרכזית בתחום הבטיחות של AI.
לטובת אפשרות הבדיקה עומדת העובדה שהמאגר כולל את עריכות המשקולות הסופיות של ניסוי המתמטיקה. הן מופיעות כהפרשים מדויקים מול משקולות הבסיס הפומביות, יחד עם סקריפט שמחיל אותן. המשמעות היא שחוקרים חיצוניים יוכלו ככל הנראה לשחזר את התוצאה ולבדוק אותה בעצמם.
עד שזה יקרה, ועד שהמספרים יופיעו במקור רשמי, נכון להתייחס לקפיצה מ-7.9% ל-48.1% כאל טענה מעניינת שעדיין מחכה לאימות.