Ling-3.1-flash: מודל עם משקולות פתוחות, 560 מיליארד פרמטרים והקשר של מיליון טוקנים

צוות inclusionAI פרסם ב-Hugging Face את Ling-3.1-flash, מודל שפה גדול (LLM) שמשקולותיו זמינות להורדה. בסך הכול יש בו 560 מיליארד פרמטרים, אבל בכל טוקן מופעלים רק 25 מיליארד מהם. חלון ההקשר שלו מגיע למיליון טוקנים. לפי כרטיס המודל, זו גרסה משודרגת של Ling-3.0-flash, עם שיפורים בארכיטקטורה ובביצועים במשימות "מהעולם האמיתי".

הידיעה הופצה ברשת דרך פוסט בקהילת LocalLLaMA, אבל הנתונים שבכתבה נלקחו מכרטיס המודל הרשמי. חשוב לדעת שהכרטיס הוא מסמך הפצה ולא דוח טכני מלא. הוא מפרט את מבנה המודל ואת הוראות ההרצה, ומזכיר בשמם את מבחני הביצועים (benchmarks), אבל בטקסט שלו אין ציונים מספריים להשוואה.

איך בנוי המודל

Ling-3.1-flash בנוי בשיטת Mixture of Experts (MoE). במקום להפעיל את כל הרשת על כל מילה, המודל מחולק להרבה תת-רשתות קטנות, "מומחים", ורכיב ניתוב בוחר בכל שלב רק כמה מהן. לפי הכרטיס יש במודל 512 מומחים מנותבים ומומחה משותף אחד, ובכל טוקן מופעלים 8 מומחים. בזכות המבנה הזה מודל ענק יכול לרוץ בעלות חישוב שקרובה יותר לזו של מודל בינוני.

המפתחים מגדירים את הארכיטקטורה כ-"Hybrid-linear MoE". שכבות הטרנספורמר מורכבות מ-63 שכבות מסוג KDA ומ-9 שכבות Gated MLA, ביחס של 7:1. לפי הכרטיס זהו גם מודל "היברידי" גם במובן של הסקה: אפשר להפעיל או לכבות את מצב החשיבה (reasoning) לפי הצורך. ככל הנראה שכבות הקשב הלינאריות הן שמאפשרות חלון הקשר של מיליון טוקנים בעלות זיכרון סבירה, כי עלותו של מנגנון קשב רגיל מזנקת ככל שהטקסט מתארך.

על מה המפתחים מצביעים

לפי כרטיס המודל, המודל מראה שיפור בסוכנים כלליים, בחיפוש, בעבודה משרדית ובהנדסת תוכנה. בין המבחנים שמוזכרים: Terminal-Bench 4.0, SWE-bench Pro, FrontierSWE, GDPVal-AA V2.1, HealthBench Professional ו-MCP-Atlas. המפתחים מציינים גם שיפור בתחומים כמו פיננסים ומדעי החומרים. לדבריהם, המודל עובד היטב בתוך כלי פיתוח מבוססי סוכנים כמו Claude Code, ‏Kilo Code, ‏Qwen Code, ‏Hermes Agent ו-OpenClaw.

לצד המודל הוצג LingCode, תשתית הרצה (harness) לסוכן תכנות שבנויה על סוכן הקוד הפתוח Pi. LingCode מיועד למשימות ארוכות, שנמשכות שעות וכוללות מאות קריאות לכלים ודחיסה חוזרת של ההקשר. המפתחים כותבים שהם "שוקלים" לפתוח את הקוד שלו בעתיד, כלומר הוא עדיין לא זמין.

מי יכול להריץ את המודל

"משקולות פתוחות" לא אומר שאפשר להריץ את המודל על מחשב ביתי. הוראות ההרצה בכרטיס מדברות על שרת עם 8 מעבדים גרפיים (GPU) מדגם H200 של אנבידיה, או על 4 מאיצי GB300. במנוע SGLang ההרצה נתמכת כבר מהיום הראשון, ובכרטיס יש גם הוראות הרצה ב-vLLM. מי שאין לו חומרה כזו יכול לגשת למודל גם דרך OpenRouter ו-ModelScope, שמקושרים מהכרטיס.

למה זה חשוב

Ling-3.1-flash מצטרף לשורה של מודלים גדולים עם משקולות פתוחות שמכוונים ישירות למשימות סוכנים ותכנות, תחום שעד לא מזמן נשלט בעיקר על ידי מודלים סגורים. המשמעות לחברות ולמפתחים היא אפשרות נוספת להריץ מודל חזק על תשתית משלהן, בלי לשלוח נתונים לספק חיצוני. עם זאת, כל עוד אין ציונים מפורטים ובדיקות עצמאיות, הטענות על ביצועים הן בשלב זה טענות של המפתחים בלבד. כדאי לחכות להשוואות מצד שלישי לפני שמסיקים מסקנות.