Gemini 4 Argon ב-ARC-AGI: ‏97.5% עם מתאם הרצה ייעודי, 49.8% בהרצה הסטנדרטית

מודל הדגל החדש של גוגל, Gemini 4 Argon, צובר עוד ציונים במבחני ביצועים (benchmarks). הפעם מדובר בסדרת ARC-AGI, שבודקת יכולת הסקה מופשטת. לפי פוסט שמצטט ציונים "מאומתים", המודל הגיע ל-97.5% ב-ARC-AGI-3. אבל הציון הזה הושג עם "provider adapter harness", כלומר מתאם הרצה ייעודי לספקית המודל. במתאם ההרצה הסטנדרטי של המבחן הציון עומד על 49.8% בלבד. את הנתונים האלה לא הצלחנו לאמת מול פרסום רשמי, ולכן יש להתייחס אליהם בינתיים כדיווח.

שני מספרים, מבחן אחד

לפי הפוסט, אלה הנתונים:

• ARC-AGI-3: ‏97.5% בעלות של 4,800 דולר עם מתאם ההרצה המותאם, לעומת 49.8% בעלות של 5,800 דולר במתאם ההרצה הסטנדרטי
• ARC-AGI-2: ‏91.3%, בעלות של 0.32 דולר למשימה
• ARC-AGI-1: ‏98.5%, בעלות של 0.16 דולר למשימה

מתאם הרצה (harness) הוא שכבת התוכנה שמחברת בין המודל למבחן. היא קובעת איך המשימה מוצגת למודל, אילו כלים עומדים לרשותו ואיך התשובות שלו מתורגמות לפעולות. ההבדל בין שתי ההרצות של ARC-AGI-3 הוא כמעט פי שניים, וזה מרמז שחלק ניכר מההצלחה תלוי בשכבה הזו ולא רק במודל עצמו. מעניין גם שההרצה המותאמת הייתה זולה יותר מהסטנדרטית. אפשר להעריך שבמתאם הסטנדרטי המודל השקיע יותר מאמץ חישובי ובכל זאת השיג פחות.

לכן ההשוואה ההוגנת למודלים מתחרים היא ככל הנראה דווקא ההרצה הסטנדרטית, שבה כל המודלים מקבלים אותם תנאים. ציון שהושג עם מתאם ייעודי מראה מה המודל מסוגל לעשות בתנאים אופטימליים, אבל קשה להשוות אותו ישירות לציונים של אחרים.

דפוס מוכר

הפער הזה מתאים לביקורת שכבר נשמעה על האופן שבו גוגל השיקה את המודל. גוגל דיפמיינד הכריזה על Argon ב-30 בספטמבר. לפי ניתוח של טבלת ההשוואה הרשמית, בטבלה מופיעים 19 מדדים. Argon במקום הראשון ב-13 מהם, בתיקו על המקום הראשון באחד, ולא מוביל בחמישה.

אתר החדשות הטכנולוגי heise ציין שבפוסט הבלוג של גוגל מודגשים רק המבחנים שבהם המודל מוביל. למשל DeepSWE v1.1, שבודק פיתוח תוכנה לטווח ארוך, שבו Argon השיג 77.9%. לעומת זאת, לא מוזכרים מבחנים שבהם הוא מפגר: ב-FrontierSWE v2 הוא השיג 55.0% לעומת 65.5% של GPT-6 Astra של OpenAI, וב-Terminal-Bench 4.0 הוא השיג 57.4% ודורג אחרי כל המתחרים בטבלה של גוגל עצמה.

מה עוד ידוע על המודל

לפי heise, גוגל מכוונת את Argon לתהליכי עבודה ארגוניים מורכבים, לניתוח משפטי ופיננסי ולאבטחת מידע. מגבלת הפלט של המודל עלתה מ-64 אלף טוקנים למיליון. הגישה הראשונה ניתנה רק לגופי הגנת סייבר נבחרים שמשתתפים בתוכנית Fairwind. אחריהם אמורים לקבל גישה לקוחות API משלמים ומנויי Google AI Ultra, אבל לא פורסם מועד.

למה זה חשוב

ARC-AGI-3 נחשב לאחד המבחנים הקשים למודלי שפה. ציון של כמעט 100% בו היה כותרת בולטת. אבל אם הנתונים מדויקים, אפשר להסיק מהם שני דברים: תוצאה במבחן כזה תלויה במידה רבה בתנאי ההרצה, ומי שמשווה בין מודלים צריך לשאול לא רק מה הציון אלא גם איך הוא הושג. לנוכח הגישה המוגבלת למודל, ייתכן שיעבור זמן עד שבדיקות בלתי תלויות יבהירו איזה מהשניים, 97.5% או 49.8%, משקף טוב יותר את היכולות של Argon.