StepFun משחררת את Step 5 Preview בקוד פתוח: 600 מיליארד פרמטרים, 27 מיליארד פעילים
חברת ה-AI הסינית StepFun פרסמה את המשקלים של Step 5 Preview, מודל Mixture-of-Experts עם 600 מיליארד פרמטרים, מתוכם 27 מיליארד פעילים לכל טוקן, וחלון הקשר של עד מיליון טוקנים. המודל נבנה למשימות סוכניות ארוכות טווח, והמשקלים זמינים להורדה ב-Hugging Face וב-ModelScope.
חברת StepFun פרסמה את המשקלים (open weights) של Step 5 Preview, מודל שפה גדול שנבנה לעבודה סוכנית ארוכת טווח (long-horizon agentic work). לפי דיווח ב-MarkTechPost, למודל 600 מיליארד פרמטרים בסך הכול, אבל רק 27 מיליארד מהם פעילים בכל טוקן. הוא תומך בחלון הקשר של עד מיליון טוקנים. גרסאות של המודל בפורמטים FP8 ו-BF16 כבר זמינות להורדה ב-Hugging Face וב-ModelScope.
מה זה מודל MoE, ולמה זה משנה
Step 5 Preview בנוי בארכיטקטורת Sparse Mixture-of-Experts (MoE דליל). במודל "צפוף" רגיל, כל הפרמטרים משתתפים בעיבוד של כל מילה. במודל MoE הרשת מחולקת להרבה תתי-רשתות, שנקראות "מומחים", ולכל טוקן מופעלים רק חלק מהם.
במקרה של Step 5 Preview, הפער בין המספרים בולט: 600 מיליארד פרמטרים בסך הכול, ורק 27 מיליארד פעילים בכל צעד. המשמעות המעשית, ככל הנראה, היא שעלות החישוב של כל טוקן קרובה לזו של מודל בינוני, בזמן שהמודל כולו מחזיק הרבה יותר ידע ויכולת. יש לזה מחיר: כדי להריץ את המודל צריך לטעון לזיכרון את כל 600 מיליארד הפרמטרים, ולכן הרצה מקומית שלו עדיין דורשת חומרה רצינית.
שני הפורמטים מכוונים לצרכים שונים. BF16 הוא הפורמט שבו מודלים נשמרים בדרך כלל, ברמת דיוק גבוהה. FP8 משתמש בפחות ביטים לכל פרמטר, ולכן צורך בערך חצי מהזיכרון. מי שמתכנן לפרוס את המודל יוכל כנראה לבחור בין דיוק מרבי לבין חיסכון בחומרה.
מיליון טוקנים וסוכנים
הנתון השני שבולט הוא חלון ההקשר: עד מיליון טוקנים. זו כמות הטקסט שהמודל יכול "לראות" בבת אחת, וזה מספיק למאגר קוד שלם, לאוסף מסמכים ארוך או להיסטוריה מצטברת של משימה מרובת שלבים.
הנתון הזה מתחבר ישירות לייעוד שהחברה מציינת, משימות סוכניות ארוכות טווח. סוכן AI (agent) הוא מערכת שלא רק עונה על שאלה אחת, אלא מבצעת סדרה של פעולות: מפעילה כלים, קוראת תוצאות, מתקנת את עצמה וממשיכה. במשימות כאלה ההקשר מתמלא מהר, כי כל צעד, כל פלט של כלי וכל ניסיון כושל נשארים בזיכרון העבודה של המודל. חלון הקשר ארוך עשוי לאפשר לסוכן לעבוד זמן רב יותר בלי לאבד את החוט. השאלה כמה טוב המודל מנצל בפועל את כל ההקשר הזה בדרך כלל מוכרעת רק בבדיקות עצמאיות.
ההקשר הרחב
StepFun מצטרפת לשורה של חברות AI סיניות ששחררו בתקופה האחרונה מודלים גדולים עם משקלים פתוחים. בין הבולטות שבהן Qwen של עליבאבא ו-DeepSeek. הכינוי "Preview" בשם המודל מרמז שזו גרסה מוקדמת ולא הגרסה הסופית של Step 5. מקור הדיווח לא מפרט תוצאות במדדי ביצועים או את תנאי הרישיון, ולכן עדיין לא ברור איך המודל מתמודד מול מתחריו ובאילו תנאים מותר להשתמש בו מסחרית.
למה זה חשוב
שחרור משקלים פתוחים מאפשר למפתחים, לחוקרים ולחברות להוריד את המודל, להריץ אותו על התשתית שלהם, להתאים אותו לצרכים שלהם ולבחון אותו בעצמם, בלי להיות תלויים ב-API של ספק חיצוני. בשילוב של ארכיטקטורת MoE חסכונית יחסית, חלון הקשר ארוך ומיקוד מוצהר בסוכנים, Step 5 Preview מכוון בבירור לאחד התחומים הפעילים ביותר בתעשייה כרגע. כמה הוא יצליח בתחום הזה יתברר כשהקהילה תתחיל לעבוד איתו.