webAI משחררת את TwIL-8B: מודל הנמקה קטן עם 98.2 ב-MATH-500, שמפגר במבחני ידע

חברת webAI שחררה את TwIL-8B, מודל הנמקה (reasoning) בגודל 8.8 מיליארד פרמטרים, כך על פי דיווח ב-MarkTechPost. המודל משיג 98.2 במבחן המתמטיקה MATH-500 ו-81.6 במבחן התכנות LiveCodeBench, אבל במבחני ידע הוא נשאר מאחורי מודלים בגודל דומה.

מה בנתה webAI

TwIL-8B לא אומן מאפס. הוא תוצר של post-training, כלומר שלב אימון נוסף שמבוצע על מודל קיים, במקרה הזה IBM Granite 4.2 8B. בשלב כזה לא מלמדים את המודל שפה מההתחלה, אלא מכוונים יכולות שכבר קיימות בו לכיוון מסוים. כאן הכיוון הוא הנמקה: פתרון בעיות בשלבים, במקום מתן תשובה מיידית.

גודל המודל הוא נתון מרכזי בסיפור. מיליארדי פרמטרים בודדים נחשבים כיום לקטן יחסית, ומודלים בסדר גודל כזה דורשים בדרך כלל פחות חומרה ועולים פחות להרצה ממודלי הענק של המעבדות הגדולות.

מה אומרים המספרים

MATH-500 הוא אוסף של 500 בעיות מתמטיקה ברמת תחרויות, ו-LiveCodeBench בוחן יכולת תכנות על בעיות שנאספות לאורך זמן. ציון של 98.2 משמעו שכמעט לא נותר למודל מרחב שיפור במבחן הזה. עם זאת, ככל הנראה ציון כה גבוה מלמד פחות על ההבדלים בין מודלים חזקים, משום שמבחן שקרוב לתקרה מתקשה להפריד ביניהם.

הצד השני של התמונה הוא מבחני הידע, שבהם TwIL-8B מפגר אחרי מודלים בגודל דומה. התקציר שבידינו אינו מפרט באילו מבחנים מדובר או מה גודל הפער.

למה זה חשוב

הפער הזה הוא ככל הנראה העניין המרכזי בסיפור. מודל קטן מוגבל בכמות המידע שהוא יכול לשמר, ואימון ממוקד בהנמקה עשוי לחדד יכולת אחת בלי להוסיף ידע עולם. המשמעות היא שהתמחות בתחום אחד עדיין באה, כנראה, על חשבון תחומים אחרים.

לקוראים ולארגונים שבוחנים מודלים קטנים, הלקח המעשי הוא שציון בולט במבחן אחד אינו מעיד על איכות כללית. מודל כזה עשוי להתאים למשימות מתמטיקה וקוד, אך פחות לשאלות שנשענות על ידע רחב. כדאי לבדוק כל מודל על המשימות שבהן הוא יפעל בפועל, ולא להסתפק בכותרת של מספר אחד.