באידו משחררת את משקלי ERNIE-5.5-Flash-Base, מודל בסיס עם 280 מיליארד פרמטרים

באידו שחררה את המשקלים של ERNIE-5.5-Flash-Base, מודל שפה עם 280 מיליארד פרמטרים שאומן מאפס על 33.5 טריליון טוקנים, כך עולה מהודעת השחרור של החברה. זה לא צ'אטבוט מוכן לשימוש. המשקלים הם נקודת הביקורת (checkpoint) מסוף שלב ה-pre-training, לפני כל שלב אימון נוסף.

מודל בסיס הוא מודל שלמד שפה, קוד וידע כללי מכמות עצומה של טקסט, אבל עדיין לא לימדו אותו לציית להוראות, לנהל שיחה או לפעול כסוכן. באידו מציגה את זה כיתרון: מפתחים יקבלו את היכולות הכלליות שכבר נבנו, ויחליטו בעצמם לאן לקחת את המודל. החברה מציינת שלושה שימושים: התאמה לתחום ספציפי, כוונון להוראות ומחקר ב-reinforcement learning. לדבריה, המטרה היא לחסוך למפתחים את העלות של pre-training בקנה מידה גדול.

מה יש בפנים

המודל בנוי בארכיטקטורת Mixture-of-Experts (MoE) דלילה, שבה רק חלק קטן מהרשת פועל בכל רגע. מתוך 280 מיליארד הפרמטרים, רק 14 מיליארד מופעלים על כל טוקן. המשמעות היא שעלות ההרצה קרובה לזו של מודל קטן בהרבה, אף שהמשקלים עצמם עדיין צריכים מקום בזיכרון.

המודל אומן עם הקשר של עד 128 אלף טוקנים, ותומך בהקשר של מיליון טוקנים בכוונון ובהרצה. יש לו 43 שכבות Transformer, ממד נסתר של 4096 ו-64 ראשי attention.

החיסכון בהקשר ארוך

החלק המעניין מבחינה הנדסית הוא הטיפול בהקשר ארוך, שבדרך כלל מייקר מאוד את ההרצה. לפי באידו, רוב השכבות צריכות רק מבט גס על העבר הרחוק. לכן רק שכבה אחת מכל שבע שומרת גישה לכל טוקן בנפרד, בשיטה שהחברה מכנה Multi-head Latent Attention (MLA).

שאר השכבות משתמשות ב-Heavily Compressed Attention (HCA): כל 128 טוקנים נדחסים לרשומה אחת בזיכרון המטמון, והשכבה מסתכלת על כל הרשומות הדחוסות יחד עם חלון קצר של טוקנים אחרונים שלא נדחסו. כך השכבה עדיין רואה את כל הרצף, אבל שומרת רק חלק קטן ממה ששכבה מלאה דורשת.

גם בשכבות ה-MLA, היחידות שרואות כל טוקן רחוק, החישוב אינו מלא. מנגנון קל בשם indexer מדרג את המיקומים הקודמים, וה-attention מחושב רק על אלה שקיבלו את הציון הגבוה ביותר. באידו כותבת שבהשוואות שערכה בזמן האימון, בתקציב זיכרון דומה, השילוב של HCA עם MLA גבר על חלופה שדוחסת את ההיסטוריה פי 4 בלבד.

החברה מדגישה שהיעילות הייתה יעד תכנוני מההתחלה. אימון המשך דוגם מהמודל שוב ושוב, ויישומי סוכנים מביאים איתם שיחות מרובות סבבים והקשרים ארוכים, ושני אלה מייקרים חישוב וזיכרון. גם נתוני האימון נבחרו בהתאם: הדגש היה על יכולות שקשה להוסיף בשלב מאוחר, כמו הבנת מאגרי קוד שלמים והבנת הקשר ארוך.

מה חסר

בחלק של ההודעה שעמד לרשותנו אין תוצאות במבחני ביצועים, אין השוואה למודלים מתחרים ואין פירוט של תנאי הרישיון או של החומרה הנדרשת להרצה. מודל בסיס גם קשה להשוות ישירות למודלים מכווננים, כי רוב המבחנים המקובלים מניחים מודל שמציית להוראות. ככל הנראה, איכותו תתברר רק כשמפתחים בקהילה יאמנו אותו הלאה ויפרסמו תוצאות.