באידו מפרסמת את ERNIE 5.5 Flash Base: 280 מיליארד פרמטרים בקוד פתוח, בלי fine-tuning
באידו שחררה את ERNIE-5.5-Flash-Base, מודל בסיס פתוח בארכיטקטורת MoE עם 280 מיליארד פרמטרים, שאומן על 33.5 טריליון טוקנים. המודל יוצא במכוון בלי fine-tuning, וגרסה מכווננת אמורה להגיע בהמשך. דיווח נוסף מאשר כעת את הפרטים שנותרו לא מאומתים בכתבה הקודמת.
באידו פרסמה את ERNIE-5.5-Flash-Base, מודל בסיס פתוח עם 280 מיליארד פרמטרים, שיוצא במכוון בלי fine-tuning ובלי post-training. דיווח של The Decoder מאשר כעת את הפרטים שנותרו לא מאומתים בכתבה הקודמת שלנו: ארכיטקטורת MoE, אימון על 33.5 טריליון טוקנים ושחרור ללא כוונון.
מה יש במודל
ERNIE 5.5 בנוי בארכיטקטורת mixture-of-experts, או MoE: במקום להפעיל את כל הרשת על כל קלט, המודל מפעיל בכל פעם רק חלק ממנה. מתוך 280 מיליארד הפרמטרים, 14 מיליארד פעילים בכל קלט, כלומר כ-5% מהמודל. המשמעות היא, ככל הנראה, עלות חישוב נמוכה בהרבה לכל שאילתה לעומת מודל צפוף באותו גודל, גם אם הפעלתו עדיין דורשת תשתית משמעותית.
האימון המקדים נעשה על 33.5 טריליון טוקנים (יחידות הטקסט שמודל שפה מעבד), עם חלון הקשר של עד 128 אלף טוקנים. עם זאת, המודל תוכנן לתמוך בהקשר של עד מיליון טוקנים בשלבי ה-fine-tuning וההרצה. חלון הקשר הוא כמות הטקסט שהמודל יכול להביא בחשבון בבת אחת, ולכן הוא חשוב במיוחד למשימות כמו ניתוח מסמכים ארוכים.
המשקולות, כלומר הערכים המספריים שהמודל למד באימון, זמינות ב-Hugging Face בפורמטים FP8 ו-BF16. אלה שתי רמות דיוק מספרי, ובדרך כלל הדיוק הנמוך יותר של FP8 חוסך זיכרון.
מודל בסיס, לא צ'אטבוט
הפרט המעניין בשחרור הוא מה שחסר בו. מודל בסיס הוא התוצר של שלב האימון המקדים, לפני השלבים שמלמדים מודל לציית להוראות ולנהל שיחה. באידו משאירה את ההחלטה לאן לקחת את המודל בידי המפתחים, ולפי The Decoder רוב העבודה מוטלת עליהם. גרסה שעברה post-training אמורה להגיע בהמשך, אך מועד לא צוין.
למשתמש הרגיל אין כאן, ככל הנראה, מוצר מוכן לשימוש. הקהל המיידי הוא חוקרים וצוותי פיתוח שרוצים לכוונן מודל לצרכים שלהם, ולא לרשת את הבחירות שעשתה החברה בשלבי הכוונון.
איך הוא משתווה למתחרים
לפי באידו, במבחני הסקה, קוד ומשימות הקשר ארוך המודל מתחרה במודלי בסיס פתוחים בגודל דומה, כמו DeepSeek V4 Flash ו-MiMo V2.5. החברה השוותה את ERNIE 5.5 Flash Base גם ל-Hy3-preview-Base, בצינור הערכה אחיד, בקטגוריות שכוללות בין היתר ידע, STEM, קוד ורב-לשוניות.
מדובר בתוצאות שפרסמה החברה עצמה, ובמקור לא מוזכרת בדיקה עצמאית שלהן. לכן כדאי לקרוא אותן כטענה של היצרן, עד שמפתחים חיצוניים יבחנו את המודל בעצמם.
למה זה חשוב
השחרור מציב את באידו בזירה צפופה של מודלי בסיס פתוחים, וההשוואות שבחרה לפרסם מלמדות מול מי היא מודדת את עצמה. פרסום גרסת בסיס לפני הגרסה המכווננת הוא, ככל הנראה, גם ניסיון למשוך קהילת מפתחים שתבנה על המודל. אם המהלך יצליח, ההערכה היא שזה יתברר פחות מטבלאות המבחנים ויותר ממה שמפתחים יבנו על המודל, ומהביצועים של הגרסה המכווננת כשתגיע.