Jais 3 יצא: משפחת מודלים פתוחים חדשה, בגדלים מ-1B ועד 379B

משפחה חדשה של מודלי שפה עם משקלים פתוחים, בשם Jais 3, עלתה לאחרונה ל-Hugging Face. האוסף הרשמי מתפרסם תחת החשבון IFM, וכולל מודלים לייצור טקסט (Text Generation) בשישה גדלים: 1B,‏ 5B,‏ 9B,‏ 35B,‏ 37B ו-379B פרמטרים. בקהילת המפתחים שמריצים מודלים על מחשבים פרטיים, Jais 3 הוצג כמודל שמתמקד בשפה הערבית ומצטיין בעבודה אג'נטית. לטענות האלה אין כרגע אישור ממקור עצמאי.

מה יש באוסף

לפי דף האוסף ב-Hugging Face, המודלים לא מגיעים רק בגרסה המלאה. לצדם פורסמו כמה אוספי משנה שנועדו להקל על הרצה מקומית:

• גרסאות מכווצות (Quantized): חמישה פריטים. כיווץ (quantization) מקטין את דיוק המספרים שמרכיבים את המודל, וכך חוסך זיכרון ומאיץ את ההרצה, לרוב במחיר ירידה קטנה באיכות.
• גרסאות GGUF: חמישה פריטים. זה פורמט קבצים שמשמש את llama.cpp, כלי קוד פתוח נפוץ להרצת מודלים על מחשב אישי.
• המרות MLX: 15 פריטים. MLX היא ספרייה של אפל להרצת מודלים על מעבדי Apple silicon, כלומר מחשבי מק עם שבבי M.

לצד המודלים עם גודל מוצהר מופיעים באוסף גם כמה פריטים שגודלם לא מצוין. דף האוסף לא מסביר מה ההבדל ביניהם, ולכן אין לדעת אם מדובר, למשל, בגרסאות בסיס לעומת גרסאות שעברו כוונון לשיחה. גם הפער בין 35B ל-37B לא מוסבר במקור.

ערבית ו"עבודה אג'נטית": מה ידוע ומה לא

הפוסט שהפנה לאוסף מתאר את המודל כ"מצליח מאוד" במשימות אג'נטיות וכממוקד בערבית. משימות אג'נטיות הן משימות שבהן המודל לא רק עונה על שאלה. הוא מתכנן סדרת צעדים, מפעיל כלים חיצוניים כמו חיפוש, הרצת קוד או קריאה ל-API, ומגיב לתוצאות. אבל בחומרים שבידינו אין נתוני ביצועים, אין השוואה למודלים אחרים ואין תיאור של שיטת האימון. לכן כרגע זו הצהרה בלבד.

השם עצמו אינו חדש. Jais הוא שם של סדרת מודלים ממוקדי ערבית שפותחו בעבר באיחוד האמירויות. ככל הנראה Jais 3 הוא הדור הבא של אותו מאמץ, אבל המקור המקושר לא מפרט את הקשר בין הגרסאות.

למה זה חשוב

רוב מודלי השפה המובילים אומנו בעיקר על טקסט באנגלית. בשפות אחרות, ובהן ערבית, הביצועים שלהם לרוב פחות עקביים. מודל פתוח שמתמקד בערבית יכול לשמש חברות, מוסדות ומפתחים בעולם הערבי. ישראלים שעובדים עם תוכן בערבית יכולים להריץ אותו על התשתית שלהם, בלי לשלוח מידע לשירות ענן חיצוני.

גם טווח הגדלים מעניין. מודל של 1B יכול לרוץ על מחשב נייד רגיל. מודל של 379B דורש חומרת שרתים רצינית. נראה שהגרסאות המכווצות, ה-GGUF וה-MLX פורסמו מראש כדי שהקהילה תוכל לנסות את המודלים מהר. ברוב המקרים זה גם הצעד שמאפשר לבדוק את טענות הביצועים באופן עצמאי.

לעת עתה, מי שמתעניין ב-Jais 3 צריך לבחון אותו בעצמו, או לחכות להשוואות שיגיעו מחוץ לחברה שפיתחה אותו.