אנבידיה משיקה את Nemotron 3.5 Bolt E4B: מודל של 4GB לעוזרים קוליים, דמויות במשחקים ורובוטיקה
אנבידיה פרסמה את Nemotron 3.5 Bolt E4B, מודל שפה קטן שמבוסס על Gemma 4 E4B של גוגל, ורץ על המכשיר עצמו בכ-4GB זיכרון. לפי החברה, המודל משיג בממוצע ציונים גבוהים בכ-40% מקודמו ומפיק עד כ-80% פחות טוקנים מהמתחרים. את הנתונים האלה פרסמה אנבידיה עצמה, ועדיין אין להם אימות חיצוני.
אנבידיה פרסמה את Nemotron 3.5 Bolt E4B, מודל שפה קומפקטי שנועד להפעיל עוזרים קוליים וסוכני AI ישירות על המכשיר, בלי חיבור לענן. המודל דורש כ-4GB זיכרון בלבד, כך לפי עמוד המודל ב-NVIDIA Research. הוא שוחרר ב-23 באוקטובר.
מודל של גוגל, אימון של אנבידיה
אנבידיה לא אימנה את Bolt E4B מאפס. הבסיס שלו הוא Gemma 4 E4B, המודל הפתוח של גוגל, ואנבידיה הוסיפה עליו שלב post-training משלה מסדרת Nemotron. post-training הוא שלב האימון שבא אחרי האימון הבסיסי, ובו "מחנכים" את המודל למשימות ולסגנון מסוימים. חלון ההקשר של המודל, כלומר כמות הטקסט שהוא מסוגל להחזיק בבת אחת, הוא 64 אלף טוקנים.
השילוב הזה מעיד ככל הנראה על אסטרטגיה רחבה יותר. במקום להתחרות בגוגל על מודלי הבסיס, אנבידיה לוקחת מודל פתוח קיים ומתאימה אותו לחומרה שלה ולתרחישי שימוש שמעניינים אותה.
איפה הוא אמור לרוץ
אנבידיה מכוונת את המודל לכמה משפחות חומרה שלה: כרטיסי GeForce RTX למחשבים ביתיים, פלטפורמת Jetson למערכות משובצות ולרובוטים, ו-RTX Spark ו-DGX Spark. לפי הדיווח, בבדיקות של החברה צריכת הזיכרון בשיא נעה בין כ-3.1GB לכ-5.0GB.
שימושים שהחברה מציינת:
- עוזרים קוליים ועוזרים למכשירים
- דמויות במשחקי מחשב
- רובוטיקה
- מערכות ברכב
המספרים, לפי אנבידיה
לפי אנבידיה, המודל משיג בממוצע ציונים גבוהים בכ-40% מקודמו, Nemotron 3 Nano 4B. בהשוואות שבהן מצב ההסקה (reasoning) מופעל, הוא מפיק לדבריה עד כ-80% פחות טוקנים ממודלים מתחרים. ב-Tau2-Bench, מבחן שבודק סוכנים שמנהלים שיחה מרובת שלבים ומפעילים כלים, Bolt E4B קיבל 55.1, לעומת 29.2 של Nano 4B.
התמונה לא חד-צדדית. על פי הנתונים שפורסמו, המודל החדש פיגר אחרי קודמו ב-RULER 64K, מבחן שבודק התמודדות עם טקסטים ארוכים. כדאי לזכור גם שכל המספרים האלה מגיעים מאנבידיה עצמה, ועדיין לא אומתו בבדיקות עצמאיות.
למה זה חשוב
מודל שרץ מקומית בכמה ג'יגה-בייטים של זיכרון פותח אפשרויות שקשה להשיג עם מודלים בענן. מכשיר כזה יכול להגיב בלי השהיית רשת, לשמור את השיחה על המכשיר ולהמשיך לעבוד גם בלי חיבור לאינטרנט. ברובוט, ברכב או בעוזר קולי ביתי, אלה ככל הנראה שיקולים מכריעים.
נתון החיסכון בטוקנים חשוב במיוחד בהקשר הזה. בעוזר קולי כל טוקן מיותר מאריך את זמן התגובה, ועל חומרה חלשה ההבדל מורגש. אם הטענה של אנבידיה תחזיק גם בשימוש אמיתי, המשמעות היא תגובות מהירות יותר וצריכת חשמל נמוכה יותר.
מבחינה עסקית, אנבידיה ממשיכה לבנות סביב החומרה שלה מערך של מודלים מוכנים לשימוש. כל מודל כזה הוא ככל הנראה סיבה נוספת למפתחים לבחור בכרטיסים ובפלטפורמות של החברה.