Moonshot משחררת את Kimi K3.1 Pro עם משקלים פתוחים ומחליפה את מנגנון ה-attention
Moonshot AI פרסמה את Kimi K3.1 Pro, מודל דגל עם משקלים פתוחים, 2.8 טריליון פרמטרים וחלון הקשר של מיליון טוקנים. החברה החליפה את שכבות ה-Gated MLA בשכבות Gated DSA כדי לעבד הקשרים ארוכים ביעילות רבה יותר. לפי הטבלאות של החברה עצמה, המודל מתחרה במודלים הסגורים המובילים בחלק מהמבחנים ומפגר אחריהם באחרים.