IBM משיקה את Granite Switch 4.1: צ'אט, קבלת החלטות ותמלול דיבור מנקודת קצה אחת

IBM השיקה את Granite Switch 4.1, דור חדש של משפחת המודלים המודולרית שלה. המודל מגיע בשני גדלים: Granite-Switch-4.1-8B ו-Granite-Switch-4.1-30B. לפי פוסט ההשקה שפורסם ב-Hugging Face ב-15 באוקטובר 2026, מודל אחד יכול לעבור בין שלושה סוגי משימות: מענה בשפה טבעית, קבלת החלטות כלליות ומתמחות, והמרת דיבור לטקסט. כל השלוש פועלות דרך נקודת קצה (endpoint) מתארחת אחת.

מה יש בתוך המודל

לפי IBM, כל אחד משני המודלים כולל שלושה רכיבים מעל מודל הבסיס:

• Decision aLoRA, מתאם חדש לקבלת החלטות כלליות.
• Guardian aLoRA, מתאם ייעודי להחלטות בתחום הבטיחות. לטענת החברה, הוא עוקף בממוצע את Jev 1.13, את Microsoft-Decision-1, את GPT-Luna-Decisions ואת Clef-Flash במשימות מהסוג הזה.
• Granite-Speech-5.0-Turbo-CTC, מודל זיהוי דיבור (ASR) לתמלול. לפי IBM, זהו המודל המהיר ביותר בטבלת OpenASR.

מתאם (adapter) הוא שכבה קטנה של משקלות שמוסיפים למודל קיים כדי ללמד אותו משימה מסוימת, בלי לאמן מחדש את המודל כולו. LoRA היא השיטה הנפוצה לכך. aLoRA, כלומר Activated LoRA, היא גרסה שתוכננה לחסוך בזיכרון המטמון.

לפי IBM, שלושת הרכיבים יחד עם מודל הבסיס תופסים בערך אותה כמות VRAM (זיכרון כרטיס המסך) כמו מודל הבסיס לבדו. ההסבר הטכני הוא שה-KV cache, הזיכרון שהמודל בונה בזמן שהוא מעבד טקסט, נבנה פעם אחת בשלב השיחה ואפשר להשתמש בו שוב לכל החלטה שמתאם מבצע אחר כך. IBM מוסיפה שהצוות שלה תרם לאחרונה שיפורים ל-vLLM, ספריית ההרצה הפופולרית, כדי להאיץ הרצה של מתאמים, וגם הציב את מקודד הדיבור על אותה חומרה.

כדוגמה, החברה כותבת שהגרסה בגודל 8B יכולה לתמלל אודיו, לסכם, לסנן תוכן מזיק ולבדוק יותר מ-15 "דגלים" כלליים, הכול בזמן אמת ומאותה נקודת קצה.

מומחים לצד מודל כללי

IBM מזכירה שמודלים לקבלת החלטות אינם רעיון חדש, ומפנה למאגר Granite Libraries שפרסמה קודם לכן. זה אוסף של מתאמים מתמחים שאפשר להרכיב לתוך מודלי Granite Switch. לטענתה, רבים מהמתאמים המתמחים עולים על מודלים כלליים במשימות סיווג ספציפיות. מכיוון שהם חולקים את ה-KV cache, הוספת מתאם מתמחה ליד המתאם הכללי "כמעט לא עולה דבר".

בהשוואה שהחברה ערכה, Granite-Switch-4.1-30B עם ארבעה מתאמים מתמחים התמודד מול Jev-27B, שבנוי על מודל Qwen עם מתאם החלטות כללי אחד. לפי IBM, המודל שלה השלים תהליך RAG (שליפת מידע ממסמכים לפני מתן תשובה) של חמישה שלבים מהר יותר בהרבה. הפוסט לא מפרט את המספרים.

להרכיב מודל בעצמך

IBM מגדירה את שני המודלים כ"כוללים סוללות", כלומר מגיעים עם סט מתאמים שהחברה בחרה מראש. כל אחד יכול גם להרכיב מודל Granite Switch משלו משילוב של מתאמים מהמאגר. החברה מתכננת לשחרר Adapter SDK לאימון מתאמים בפלטפורמת Mellea, וגם מדריכים נוספים.

כהדגמה, IBM מתארת גרסה של Granite בגודל 3B שלמדה, בעזרת מתאמים ייעודיים, לשחק במשחק הקלאסי Doom. לדבריה, המודל קיבל 60 עד 100 החלטות בשנייה, לעומת 10 החלטות בשנייה שדווחו עבור Jev. בנוסף, הוא יכול לתאר את המשחק ולענות על שאלות תוך כדי.

המשמעות

מאחורי ההשקה עומד ככל הנראה שיקול כלכלי של לקוחות ארגוניים. במקום להריץ מודל שיחה, מסווג בטיחות ומודל תמלול על שרתים נפרדים, IBM מציעה לרכז את כולם על אותה חומרה. אם הטענה על צריכת הזיכרון תעמוד במבחן השימוש, המשמעות היא פחות כרטיסי GPU לאותה עבודה. חשוב לזכור שכל נתוני הביצועים וההשוואות מגיעים כרגע מ-IBM עצמה. החברה כתבה שתפרסם פרטים ונתונים נוספים בשבועות הקרובים, ושם יהיה אפשר לבחון את הטענות באופן בלתי תלוי. ההשקה כבר עוררה דיון בקהילת המפתחים שמריצים מודלים מקומית.