Mistral משיקה את Mistral Large 4: מודל בן טריליון פרמטרים בתצוגה מקדימה, והמשקולות ישוחררו עד סוף אוקטובר
חברת ה-AI הצרפתית Mistral פתחה גרסת תצוגה מקדימה ציבורית של Mistral Large 4, מודל רב-מודאלי בן טריליון פרמטרים, מתוכם 52 מיליארד פעילים. לפי החברה, המשקולות ישוחררו לציבור עד סוף החודש. בינתיים המודל עובר תרגילי red-teaming יחד עם גורמי סייבר ורשויות מדינה.
Mistral הצרפתית השיקה ב-6 באוקטובר גרסת תצוגה מקדימה ציבורית של Mistral Large 4. זה המודל הגדול ביותר שהחברה פיתחה עד היום: טריליון פרמטרים, מתוכם 52 מיליארד פעילים. אפשר לנסות אותו כבר עכשיו דרך ה-API בפלטפורמת Mistral Studio. החברה מתחייבת לשחרר את המשקולות (weights, הערכים המספריים שמרכיבים את המודל המאומן) עד סוף אוקטובר. בהודעה הרשמית Mistral קוראת למודל באופן לא רשמי ML4, ובחצי חיוך, "באופן רשמי מאוד", גם "le Chonk".
מה יודעים על המודל
לפי Mistral, ML4 הוא מודל רב-מודאלי מיסודו (natively multimodal), כלומר הוא אומן לעבוד עם יותר מסוג אחד של קלט. ההבדל בין מספר הפרמטרים הכולל למספר הפרמטרים הפעילים מאפיין בדרך כלל ארכיטקטורה מסוג Mixture of Experts. בארכיטקטורה כזו רק חלק מהמודל מופעל בכל שלב חישוב, וכך אפשר לבנות מודל ענק בלי שעלות ההרצה תגדל באותו יחס. החברה עצמה עוד לא פרסמה את פרטי הארכיטקטורה. היא כותבת שתפרסם אותם, יחד עם מדדים נוספים ופרטים על תהליך ה-post-training, לקראת שחרור המשקולות.
המודל אומן מאפס על 3,800 מעבדי Grace Blackwell של אנבידיה, במרכזי הנתונים של Mistral עצמה באירופה. גרסת התצוגה המקדימה רצה על אותה תשתית. לפי החברה, חלק ניכר מנתוני האימון היה רב-לשוני וכלל יותר מ-160 שפות, ובהן כל השפות הרשמיות של האיחוד האירופי.
טענות הביצועים
Mistral טוענת ש-ML4 מתחרה במודלי ה-open source החזקים בעולם, ושהוא עוקף בפער ניכר כל מודל open-weight שפותח בארה"ב או באירופה. לדבריה, המודל מוביל בין המודלים הפתוחים בתחומים ארגוניים כמו סייבר, פיננסים ומשפט. בזיהוי ומיקום של אובייקטים בתמונה (visual grounding) הוא אף עוקף, לטענתה, את מודלי החזית הסגורים.
את עיקר תשומת הלב החברה מקדישה לסייבר. לפי ההודעה, ML4 נמנה עם חמשת המודלים המובילים בעולם במדד Artificial Analysis Cyber Index. באחד ממבחני המדד המודל צריך לשחזר חולשה אמיתית בתוכנת קוד פתוח ואז לתקן אותה, ושם ML4 השיג 82%, הציון הגבוה ביותר מכל מודל. ב-Cybench, אוסף של 40 תרגילים מתחרויות אבטחה, הוא פתר 93% מהאתגרים. Mistral מציינת שמודלים סגורים מובילים, ובהם Claude Opus 5.5 של אנתרופיק ו-GPT-6 Astra, קיבלו במבחן השחזור ציון קרוב לאפס כי סירבו לבצע את המשימה. חשוב לזכור שהנתונים האלה מובאים בהודעה של החברה עצמה, ומתייחסים לגרסת תצוגה מקדימה שעדיין משתפרת ואינה המודל הסופי.
למה המשקולות מתעכבות
עד לשחרור המשקולות, Mistral מבצעת red-teaming למודל בתנאי שימוש אמיתיים, יחד עם מובילים בתחום הסייבר, שותפים שעברו בדיקה ורשויות מדינה. הגורמים האלה מקבלים את אותו מודל עם פחות סינון ועם יכולות סייבר מורחבות. המשמעות היא ככל הנראה ש-Mistral מנסה לאזן בין מסר הפתיחות שלה לבין החשש מכלי תקיפה חזק שיהיה זמין לכולם.
המשמעות
ההודעה ממסגרת את ML4 כמהלך של ריבונות טכנולוגית אירופית: "Forged in Europe". לפי החברה, המודל יהיה זמין בכמה אזורים בעולם, ובהם פריסה אירופית ש-Mistral מפעילה בעצמה מקצה לקצה, בלי תלות בספקי שירות דיגיטליים אחרים וכפופה לחוק האירופי. בשוק שבו המודלים הפתוחים החזקים מגיעים בעיקר מסין, ייתכן ש-ML4 יהפוך לחלופה המערבית הפתוחה המשמעותית ביותר לארגונים שרוצים להריץ מודל בעצמם, על התשתית שלהם ולפי המדיניות שלהם. השאלה הפתוחה היא אם Mistral תעמוד במועד שקבעה ותשחרר את המשקולות עד סוף אוקטובר, ואם המדידות העצמאיות יאשרו את הטענות שלה.