Moonshot משחררת את Kimi K3.1 Pro עם משקלים פתוחים ומחליפה את מנגנון ה-attention

החברה הסינית Moonshot AI פרסמה את Kimi K3.1 Pro, מודל דגל חדש עם משקלים פתוחים (open-weight). המשמעות היא שכל אחד יכול להוריד את המודל ולהריץ אותו על החומרה שלו. לפי כרטיס המודל ב-Hugging Face, המודל מבוסס על Kimi K3 ועבר אימון נוסף (post-training) בלמידת חיזוק (reinforcement learning) רחבת היקף, במשותף על פני מאות תחומים. החברה מגדירה אותו כ"מודל ה-3T החזק ביותר שלה עד היום". הוא גם הראשון בסדרת K3.1.

מה בפנים

Kimi K3.1 Pro בנוי בארכיטקטורת Mixture-of-Experts (MoE). בשיטה הזו המודל מחולק ל"מומחים" רבים, ובכל שלב מופעלים רק חלק מהם. לפי כרטיס המודל, יש בו 2.8 טריליון פרמטרים בסך הכול, אבל רק 104 מיליארד פעילים בכל טוקן: 16 מתוך 896 מומחים, ועוד 2 מומחים משותפים. חלון ההקשר מגיע למיליון טוקנים (1,048,576). המודל מולטימודלי מהיסוד ומקבל טקסט ותמונות, עם מקודד ראייה בשם MoonViT-V2 בגודל 401 מיליון פרמטרים. המשקלים מגיעים בדיוק מופחת: MXFP4 למשקלים ו-MXFP8 לאקטיבציות. Moonshot אימנה את המודל מראש תחת הדיוק הזה (quantization-aware training), ולא כיווצה אותו רק בדיעבד.

השינוי הארכיטקטוני המרכזי נמצא במנגנון ה-attention, החלק שבאמצעותו המודל "מסתכל" על הטקסט שכבר קרא. לדברי החברה, לעומת Kimi K3 הוחלפו שכבות ה-Gated MLA, שמבצעות attention מלא, בשכבות Gated DeepSeek Sparse Attention (Gated DSA) "לטובת מידול יעיל יותר של הקשרים ארוכים". המודל כולל 93 שכבות, ומתוכן 69 שכבות KDA ו-24 שכבות Gated DSA. ב-sparse attention כל טוקן מתייחס רק למספר מוגבל של טוקנים רלוונטיים ולא לכל הטקסט שלפניו. לפי המפרט, המספר הזה עומד על 2,048. כשחלון ההקשר מגיע למיליון טוקנים, ככל הנראה זה ההבדל בין מודל שאפשר להריץ באופן מעשי לבין מודל שעלות ההרצה שלו גבוהה מדי.

איך הוא מתמודד מול המתחרים

Moonshot מפרסמת טבלת השוואה ארוכה מול Claude Opus 5.5, Claude Fable 5.1, GPT-6 Astra ומודלים סיניים כמו DeepSeek-V4.1-Flash ו-GLM-5.3. התמונה שעולה ממנה מעורבת:

• Terminal-Bench 4.0 (משימות תכנות בטרמינל): ‏65.7, קרוב ל-66.4 של Opus 5.5 ומעל Fable 5.1 (‏57.9) ו-GPT-6 Astra (‏58.2).
• SWE Marathon v1.1: ‏51.7, הציון הגבוה בטבלה. Opus 5.5 קיבל 46.3.
• BrowseComp (חיפוש ואיסוף מידע ברשת): ‏92.1, מעט מעל GPT-6 Astra (‏91.5) ו-Opus 5.5 (‏90.8).
• HLE-Full (מבחן ידע והסקה קשה): ‏51.1, מתחת ל-59.8 של Opus 5.5 ול-57.6 של Fable 5.1.
• Program Bench: ‏31.5 לעומת 65.0 של Opus 5.5, פער גדול.
• ExploitBench (אבטחת סייבר): ‏74.7, לעומת 100 של GPT-6 Astra.

צריך לזכור שאת המספרים פרסמה החברה עצמה, וחלק מהמבחנים פנימיים שלה. ככל הנראה עוד לא פורסמה השוואה בלתי תלויה של המודל. החברה מדגישה בכרטיס המודל שיפורים בתכנות, ביצירת תוכן תלת-ממדי, במחקר פיננסי ובדיוק עובדתי.

מודל קטן יותר בדרך?

בערוץ הטלגרם ai_newz העריכו שהרצת מודל בגודל כזה קשה ל-Moonshot עצמה, ושבקרוב יגיע מודל קטן יותר. בכרטיס המודל אין הודעה רשמית על כך, ולכן זו הערכה לא מאומתת. עם זאת, ההגדרה של K3.1 Pro כ"מודל הראשון בסדרת K3.1" מרמזת שבסדרה יגיעו מודלים נוספים.

למה זה חשוב

שחרור משקלים פתוחים של מודל שמתקרב בחלק מהמבחנים למודלים הסגורים המובילים ממשיך מגמה של מעבדות סיניות שמצמצמות את הפער מול המעבדות האמריקאיות. בפועל, מעטים יוכלו להריץ מודל בגודל 2.8 טריליון פרמטרים, גם בדיוק מופחת. לכן התועלת המיידית צפויה להגיע בעיקר לחברות ענן ולארגונים גדולים עם חומרה רבה. ייתכן שהבשורה הגדולה יותר לקהילה תהיה דווקא המודל הקטן, אם וכאשר יגיע.