Nanbeige משיקה את Nanbeige4.3-33B: מודל קוד פתוח לסוכני תכנות עם הקשר של 512 אלף טוקנים

מעבדת Nanbeige LLM Lab שחררה את Nanbeige4.3-33B, מודל שפה בקוד פתוח שמיועד לסוכני תכנות (agentic coding), כלומר מערכות AI שמבצעות משימות פיתוח בעצמן ולא רק מציעות קוד. לפי הדיווח ב-MarkTechPost, זה מודל dense של 33 מיליארד פרמטרים, הוא מופץ ברישיון Apache 2.0, חלון ההקשר שלו הוא 512 אלף טוקנים, והוא קיבל 80.9 במבחן Terminal-Bench 2.1.

מה יש במודל

שלושה נתונים בולטים בהכרזה:

• מודל dense בגודל בינוני. כל 33 מיליארד הפרמטרים פעילים בכל חישוב. זה שונה מארכיטקטורות Mixture-of-Experts הנפוצות היום, שבהן רק חלק מהמודל מופעל בכל פעם. בגודל כזה המודל קטן בהרבה ממודלי הדגל של החברות הגדולות. ככל הנראה המטרה היא מודל שאפשר להריץ באופן עצמאי בלי תשתית ענן גדולה.
• הקשר של 512 אלף טוקנים. חלון ההקשר הוא כמות הטקסט שהמודל יכול "להחזיק בראש" בבת אחת. בסוכני תכנות זה חשוב במיוחד: סוכן שעובד על פרויקט אמיתי צריך לקרוא קבצים רבים, פלטים של פקודות והיסטוריה ארוכה של צעדים קודמים.
• רישיון Apache 2.0. זה רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה כמעט בלי הגבלות. לחברות ולמפתחים שרוצים לבנות מוצר על בסיס המודל, זה יתרון ממשי לעומת מודלים "פתוחים" שמגיעים עם רישיונות מגבילים.

Terminal-Bench הוא מבחן שבודק עד כמה מודלים מצליחים לבצע משימות בסביבת שורת פקודה (terminal), סביבת העבודה הטבעית של סוכני תכנות. חשוב לזכור שהציון של 80.9 מדווח על ידי המפתחים עצמם, וחומרי המקור אינם מציינים אימות עצמאי שלו.

לפי ההכרזה, המודל ישמש גם "מורה" לגרסה קטנה יותר שבדרך, Nanbeige4.3-3B. בשיטה הזו, שנקראת distillation, מודל גדול מלמד מודל קטן ממנו לחקות את התשובות שלו. כך אפשר לקבל מודל קל מאוד שעדיין שומר על חלק מהיכולות של המודל הגדול.

גרסאות מכווצות לחומרה ביתית

בקהילת LocalLLaMA, שעוסקת בהרצת מודלים על מחשבים אישיים, פורסמה סדרה של גרסאות מכווצות (quantized) בפורמט GGUF. זה דיווח קהילתי שלא אומת באופן עצמאי. לפי הפוסט, הגרסאות נעות בין 35.2GB ל-13.7GB. למחשבים עם 32GB זיכרון, הכותב ממליץ על גרסה בגודל 20.3GB (AD-IQ4_XS), ולפי המדידה שלו היא שומרת על 92.0% התאמה לגרסה המלאה (BF16) במדד top-1%.

כיווץ (quantization) מקטין את המודל על ידי שמירת המספרים שבתוכו בדיוק נמוך יותר. המחיר הוא ירידה מסוימת באיכות. הנתונים בפוסט, אם הם מדויקים, מראים שהפשרה סבירה: המודל נכנס לחומרה של מחשב ביתי חזק ועדיין מתנהג ברובו כמו המקור.

למה זה חשוב

התחום של סוכני תכנות נשלט כיום בעיקר על ידי מודלים סגורים שזמינים רק דרך API בתשלום. מודל פתוח בגודל בינוני, עם רישיון מתירני והקשר ארוך, ככל הנראה מכוון למפתחים ולארגונים שרוצים להריץ סוכנים כאלה על החומרה שלהם. הסיבות יכולות להיות פרטיות של הקוד, עלויות או שליטה. השאלה המרכזית היא אם הביצועים שהמפתחים מדווחים יחזיקו גם בבדיקות עצמאיות ובשימוש יומיומי בפרויקטים אמיתיים. התשובה לזה עוד לא ידועה.