מודל פתוח על מחשב נייד מזהה לאיזה משחק אומנה רשת נוירונים, רק מקריאת המשקולות שלה

מודל פתוח בגודל 27 מיליארד פרמטרים, שרץ על מחשב נייד ביתי, מסוגל לזהות לאיזו משימה אומנה רשת נוירונים מתוך המשקולות הגולמיות שלה בלבד. כך לפחות כותב המפתח סיימון ויליסון בבלוג שלו. ויליסון חזר על אחד הניסויים ממאמר שעורר עניין רב השבוע, ולדבריו Qwen 3.8 27B "יכול לעשות את זה גם". מדובר בניסוי שלו בלבד, ועד כה איש לא אימת אותו באופן עצמאי.

המאמר: "תכנות במרחב המשקולות"

ברקע עומד המאמר Sparks of Weight-Space Programming של Rikiya Takehi, Jayden Teoh, Alex Zhang ו-Omar Khattab. החוקרים טוענים שמודלי חזית, ובראשם GPT-6 Astra, מסוגלים גם לפרש וגם לשנות את המשקולות של מודל למידת מכונה. משקולות הן המספרים שמרכיבים את הרשת, והמודל מקבל אותן כטקסט רגיל: רשימה ארוכה של מספרים עשרוניים.

לפי תקציר המאמר, Astra יודע לזהות מה רשת אומנה לעשות רק מהתבוננות במשקולות. הוא גם כתב מאפס רשתות קטנות שמשחקות משחקים וגברו על רשתות שאומנו ב-PPO, שיטת אימון מקובלת ב-reinforcement learning, במשך 100 מיליון צעדים. בניסוי אחר התבקש Astra לשפר את היכולת המתמטית של Qwen3.5-0.8B בלי אימון. הוא איתר במשקולות בעיה שגורמת ללולאות חשיבה ותיקן אותה בעריכה של 0.016% מהמשקולות. הציון במבחן MATH-500 עלה מ-7.9% ל-48.1%, והציון ב-IFEval, מבחן של ציות להוראות, שולש.

המאמר לא עבר בלי ביקורת. מתיו הוניבל, מחבר ספריית spaCy, כינה אותו מטעה משום שלדבריו הוא מערבב שתי שאלות נפרדות: מה מודל מבין מהמשקולות בלי כלים, ומה הוא מסוגל לעשות כשמותר לו להריץ קוד. שון גודקה פירק את דוגמת השיפור של Qwen3.5-0.8B וטען שהיא עוקבת אחרי אותם צעדים שחוקר ML אנושי היה נוקט.

הניסוי: איזה משחק?

ויליסון בחר להתמקד בשאלה שלדעתו מעניינת יותר: מה מודל מבין מהמשקולות בלי כלים. בניסוי הזה אימנו החוקרים ארבע רשתות לשחק בגרסאות מפושטות, על לוח של 10x10, של ארבעה משחקים קלאסיים: Breakout, ‏Pong, ‏Pac-Man ו-Freeway, משחק Atari 2600 מ-1981. לאחר מכן הזינו את המשקולות למודל שפה ושאלו על איזה משחק אומנה הרשת. ההנחיה הדגישה: "אין לך כלים: אין הרצת קוד, אין מחשבון", ועל המודל לענות בתגובה אחת.

ההנחיות המלאות זמינות במאגר ה-GitHub של המאמר. ויליסון בדק ומצא שמלבד המשקולות, ההנחיה זהה בכל ארבעת המשחקים.

תחילה הריץ ויליסון את הנחיית Breakout על Kimi K3.1 Pro דרך OpenRouter. המודל זיהה נכון את המשחק אחרי 9 דקות ו-41 שניות ו-19,493 טוקנים של חשיבה. אחר כך עבר ל-Qwen 3.8 27B, שלדבריו הוא המודל האהוב עליו להרצה מקומית: הוא שוקל 17GB בלבד ו"מרגיש קרוב למודלים הקנייניים המובילים של 2025". הוא הריץ אותו ב-LM Studio עם חלון הקשר מורחב, כי ברירת המחדל של 8,192 טוקנים הסתיימה בשגיאות, והגדיל את מגבלת הזמן של הכלי. על הנחיית Pac-Man עבד המודל 46 דקות ו-12 שניות וצרך 43,506 טוקנים של חשיבה.

למה זה חשוב

אם התוצאה תשוחזר, המשמעות היא ככל הנראה שהיכולת לנתח משקולות בלי כלים אינה שמורה למודלי חזית סגורים, ושהיא נמצאת גם במודל פתוח שרץ על חומרה ביתית. היכולת הזו קשורה לתחום ה-interpretability, הניסיון להבין מה מתרחש בתוך רשתות נוירונים.

עם זאת, כדאי לזכור את ההסתייגויות. מדובר בהרצה בודדת, על רשת קטנה ופשוטה, עם ארבע תשובות אפשריות בלבד. לכן ניחוש אקראי היה מצליח ברבע מהמקרים. כדי לדעת אם מדובר ביכולת עקבית ולא במזל יידרשו הרצות חוזרות על כל ארבעת המשחקים.