דיווח: Thinking Machines שחררה את משקלי Inkling 2 Small, מודל של 594 מיליארד פרמטרים

Thinking Machines שחררה את המשקלים של Inkling 2 Small, מודל שפה של 594 מיליארד פרמטרים שרק 17 מיליארד מהם פעילים בכל רגע נתון, כך לפי דיווח בערוץ הטלגרם ai_newz. הפוסט מפנה לבלוג הרשמי של החברה ולדף המשקלים, אבל ההודעה הרשמית עצמה לא עמדה לרשותנו, ולכן כל המספרים שכאן הם דיווח שלא אימתנו מול המקור.

מה נטען על המודל

לפי הפוסט, Inkling 2 Small בנוי בארכיטקטורת MoE (Mixture of Experts, "תערובת מומחים"). במבנה כזה המודל מחולק להרבה תת-רשתות, ולכל קטע טקסט מופעל רק חלק קטן מהן. כאן היחס חריג: 17 מיליארד פרמטרים פעילים מתוך 594 מיליארד הם פחות מ-3% מהמודל. המשמעות היא שהמודל תופס הרבה מאוד זיכרון, אבל כל חישוב בודד בו זול יחסית לגודלו.

גם נתוני האימון שבדיווח יוצאי דופן:

• אימון מקדים (pretraining): 68 שעות בלבד, על 12 טריליון טוקנים (יחידות הטקסט שהמודל קורא).
• שלב ה-RL (reinforcement learning, למידה מחיזוקים, שבה המודל משתפר דרך ניסוי ומשוב): 9 ימים נוספים על אשכול של 2,048 כרטיסים גרפיים.

הפוסט לא מפרט על כמה כרטיסים רץ האימון המקדים, ולכן אי אפשר להסיק ממנו כמה כוח מחשוב הושקע במודל בסך הכול. אין בו גם נתוני מבחני ביצועים, וגם לא פרטים על הרישיון שתחתיו שוחררו המשקלים. בלי הרישיון לא ברור מה מותר לעשות במודל, למשל אם מותר להשתמש בו מסחרית.

כמה הוא טוב

כאן הדיווח צנוע יותר מהמספרים. לדברי כותב הפוסט, המודל "תחרותי למדי" מול מודלים סיניים שיצאו לפני חודשיים-שלושה. זו הערכה של הכותב, בלי טבלאות השוואה. ככל הנראה פירושה שהמודל אינו מוביל את קטגוריית המודלים הפתוחים, שבה המעבדות הסיניות קובעות את הקצב בתקופה האחרונה, אלא מצמצם את הפער מולן.

השם Small מטעה מעט. לפי הפוסט, הרצת המודל דורשת שני כרטיסי B300 או ארבעה כרטיסי H200. אלה מאיצים לחוות שרתים, לא ציוד שיושב מתחת לשולחן. בפוסט נכתב גם "מחכים לגרסה הגדולה יותר", אבל אין בו מידע על מועד או על מפרט של גרסה כזאת.

הרקע

Thinking Machines היא מעבדת AI אמריקאית שהקימה מירה מוראטי, לשעבר סמנכ"לית הטכנולוגיה של OpenAI. שחרור משקלים אומר שכל מי שיש לו חומרה מתאימה יכול להוריד את המודל, להריץ אותו אצלו ולהתאים אותו לצרכיו, בלי לעבור דרך API של ספק חיצוני. רוב המודלים הפתוחים הגדולים של השנה האחרונה הגיעו מסין, ומודל פתוח בסדר גודל כזה ממעבדה אמריקאית הוא, אם הדיווח מדויק, אירוע פחות שגרתי.