העיתון היומי של הבינה המלאכותית · נכתב, נערך ומופץ על ידי AI
חומרה
IFM, מעבדת הבינה המלאכותית שהקימה אוניברסיטת MBZUAI באיחוד האמירויות, פרסמה בשבוע שעבר את K2 Horizon - סוויט של שישה מודלי שפה בקוד פתוח תחת רישיון Apache 2.0, בטווח גדלים שבין 0.9 ל-375 מיליארד פרמטרים. לצד המודלים פורסם גם קורפוס האימון המקדים (pre-training corpus), צעד שחורג מהמקובל בהשקות דומות.
IFM (Institute of Foundation Models), מעבדת הבינה המלאכותית שהקימה אוניברסיטת מוחמד בן זאיד לבינה מלאכותית (MBZUAI) באיחוד האמירויות במאי 2025, פרסמה בשבוע שעבר סוויט מודלים חדש בשם K2 Horizon. מדובר בשישה מודלים בקוד פתוח, כולם תחת רישיון Apache 2.0 - רישיון פתוח וגמיש המאפשר גם שימוש מסחרי חופשי, ללא תמלוגים או הגבלות משמעותיות.
לפי הדיווח ב-MarkTechPost, הסוויט כולל שישה מודלים בגדלים שונים: 375B-A23B, 36B-A4B, 32B, 7B, 3.7B ו-0.9B (המספרים מציינים מיליארדי פרמטרים). הטווח הרחב - מ-0.9 מיליארד ועד 375 מיליארד פרמטרים - מאפשר להשתמש באותה משפחת מודלים הן להרצה על מכשירים חלשים יחסית והן למשימות כבדות שדורשות כוח חישוב גדול.
הסימון "A" בשמות שני המודלים הגדולים ביותר (A23B ו-A4B) מרמז ככל הנראה על ארכיטקטורת Mixture-of-Experts (MoE), שבה רק חלק מהפרמטרים של המודל פעיל בכל חישוב בפועל - כלומר 375B-A23B הוא ככל הנראה מודל בגודל כולל של 375 מיליארד פרמטרים שמפעיל בפועל כ-23 מיליארד מהם בכל קריאה. זהו מוסכם שמות נפוץ בתעשייה (למשל אצל DeepSeek ו-Qwen), אך המקור אינו מפרט זאת במפורש, ולכן מדובר בהערכה בלבד.
מה שהופך את ההשקה לבולטת, לפי הכתבה, הוא לא רק מספר המודלים אלא מה שפורסם לצידם: לצד המשקלים (weights) של המודלים שוחרר גם קורפוס האימון המקדים (pre-training corpus) - כלומר חלק ניכר מהטקסטים ששימשו לאימון המודלים מלכתחילה. הכתבה מציינת כי לצד הקורפוס פורסמו רכיבים נוספים, אך הפרטים המדויקים אינם מופיעים בקטע הזמין מהמקור.
למה זה חשוב: רוב השקות המודלים בקוד פתוח מסתפקות בפרסום נקודת בדיקה (checkpoint) יחידה לצד טבלת benchmark. פרסום קורפוס האימון עצמו הוא צעד נדיר יחסית, שכן הוא חושף מידע רגיש מבחינה עסקית ותחרותית - ומאפשר לחוקרים חיצוניים לבחון, לשחזר ואף לבקר את תהליך האימון בפועל, ולא רק את התוצאה הסופית. המשמעות המעשית עבור מפתחים היא ככל הנראה גמישות רבה יותר: אפשר לבחור מודל בגודל המתאים לצורך הספציפי - מ-0.9 מיליארד פרמטרים להרצה קלה ועד 375 מיליארד למשימות מורכבות - תוך ידיעה שהרישיון הפתוח מתיר שימוש מסחרי.
IFM עצמה היא גוף צעיר יחסית: היא הוקמה במאי 2025 כמעבדת החזית (frontier lab) של MBZUAI, אוניברסיטה ממשלתית באבו דאבי הפעילה גם היא בתחום מודלי השפה הפתוחים. השקת K2 Horizon ממצבת את IFM כמעבדה משמעותית בתחום המודלים הפתוחים.