מודל חדש בראש דירוג Artificial Analysis, והפער מהמודלים הפתוחים גדל

חברת ה-benchmarking העצמאית Artificial Analysis השיקה ב-27 באוקטובר את הגרסה החמישית של ה-Intelligence Index שלה. זה מדד שמשקלל מבחנים רבים לציון אחד, והוא נחשב לאחד הדירוגים הנצפים ביותר בתחום מודלי ה-AI. העדכון הזיז את פסגת הטבלה והפיל את המודלים הפתוחים. לפי Crypto Briefing, תוך פחות מיממה כבר התחלף המודל שבמקום הראשון.

מה קרה בצמרת

בהשקה הוביל Claude Opus 5.5 של אנתרופיק עם 58 נקודות. אחריו דורגו שני מודלים של OpenAI: ‏GPT-6 Astra עם 57 נקודות ו-GPT-6.1 Sol עם 55. לפי Trending Topics, ‏GPT-6.1 Sol השיג את הציון הזה בערך בשמינית מהעלות של Opus. Claude Sonnet 5.5 ירד מעט, מ-56 ל-54. ‏Gemini 4 Argon של גוגל ירד מ-53 ל-50, ו-Muse Wonder Full של מטא צנח מ-56 ל-50.

למחרת, ב-28 באוקטובר, קיבל Gemini 4 Carbon של גוגל ציון של 59 ועבר את Opus 5.5 בנקודה אחת, כך לפי Crypto Briefing. הפערים בצמרת מצומצמים מאוד, ולכן ככל הנראה הדירוג ימשיך להשתנות עם כל מודל חדש. אף מודל לא ניצח בכל תשעת המבחנים. Opus 5.5 מוביל בשלושה מהם.

מה השתנה במדד

לפי החברה, זה העדכון הגדול ביותר מתחילת השנה. השינוי המרכזי: כ-60% מהמדד מבוססים כעת על מבחנים פרטיים או על תשובות שלא פורסמו. המטרה היא למנוע "זיהום" (contamination), כלומר מצב שבו מודל ראה את שאלות המבחן בזמן האימון ופשוט זוכר אותן.

המדד בנוי מארבע קטגוריות במשקל שווה:

• עבודה משרדית: משימות כמו עריכת מסמכים ואוטומציות.
• קוד: בין השאר FrontierCode 2.0, מבחן פרטי של חברת Cognition. פתרון נחשב נכון רק אם מתחזק (maintainer) של הפרויקט היה ממזג אותו בפועל.
• מדע: בין השאר Terminal-Bench-Science, שבו 70 משימות מחקר שהמודל צריך להשלים לבד.
• ידע כללי: בין השאר גרסה קשה יותר של Humanity's Last Exam, ומבחן שמעניש על הזיות.

מבחנים מוכרים כמו SciCode ו-GDPval-AA הוצאו מהמדד.

המכה למודלים הפתוחים

במודלי open-weight המשקלים זמינים לכל אחד, ואפשר להריץ אותם בלי לעבור דרך ה-API של החברה. הם נפגעו יותר מכולם. הפער בין המודל הסגור הטוב ביותר למודל הפתוח הטוב ביותר גדל מ-3 נקודות בגרסה הקודמת ל-12.

• Kimi K3.1 Pro של Moonshot AI ירד מ-55 ל-46. הוא עדיין המודל הפתוח המוביל, אבל המשקלים שלו עוד לא שוחררו.
• DeepSeek V4.1 Flash צנח מ-45 ל-32.
• MiMo-V2.6-Pro של Xiaomi איבד 16 נקודות וירד ל-30.
• Muse Spark Open של מטא, המודל הפתוח האמריקאי הטוב ביותר, ירד מ-39 ל-25.

גם Claude Haiku 5.5, המודל הקטן והזול של אנתרופיק, קיבל 36 נקודות ועקף את כל המודלים הפתוחים שהמשקלים שלהם כבר זמינים. הפערים הגדולים ביותר נרשמו במבחנים החדשים. בגרסה המעודכנת של Humanity's Last Exam קיבל Kimi ‏37% ו-Opus ‏68%. במשימות המחקר האוטונומיות הגיע Kimi ל-34% ו-GPT-6 Astra ל-63%, ורוב המודלים הפתוחים נשארו מתחת ל-10%.

מבחנים יקרים יותר

המבחנים החדשים דורשים מהמודלים הרבה יותר עבודה. החציון עומד על כ-59,000 טוקנים של פלט למשימה, שני שלישים יותר מבעבר. ריצה של Opus 5.5 בהגדרה הגבוהה ביותר עולה כ-10 דולר למשימה, לעומת כ-1.27 דולר ל-GPT-6.1 Sol. גם להגדרה עצמה יש השפעה גדולה: בהגדרה הנמוכה ביותר Opus 5.5 מקבל רק 35 נקודות.

למה זה חשוב, ומה צריך לסייג

החשש מזיהום מבחנים אמיתי, ולכן המעבר לנתונים פרטיים כנראה נותן תמונה מדויקת יותר של מה שהמודלים באמת יודעים לעשות. אבל יש לזה מחיר. כשרוב המבחנים סודיים, אי אפשר לבדוק את התוצאות מבחוץ, וצריך לסמוך על Artificial Analysis שבנתה מבחנים הוגנים והריצה אותם באותו אופן על כל המודלים.

גם התמונה של המודלים הפתוחים מורכבת יותר ממה שנראה בציון הכללי. Kimi K3.1 Pro, למשל, מוביל את כל המודלים, כולל הסגורים, במבחן הסוכנים Terminal-Bench 4.0. בגרסה הקודמת של המדד הוא היה במקום הרביעי, שלוש נקודות בלבד מהמקום הראשון. המשמעות היא שהדירוג תלוי מאוד במבחנים שבוחרים ובמשקל שנותנים לכל אחד מהם. ציון יחיד לא אומר הכול.