Artificial Analysis שינתה את מדד האינטליגנציה שלה, והפער בין מודלים פתוחים לסגורים גדל פי ארבעה

חברת Artificial Analysis, שמפרסמת את אחת מטבלאות הדירוג הנפוצות ביותר למודלי שפה, שינתה מהיסוד את מדד האינטליגנציה שלה. התוצאות בולטות במיוחד אצל המודלים הפתוחים. Kimi K3.1 Pro, שנכנס לטבלה במקום הרביעי, ירד בגרסה 5 של המדד למקום התשיעי, ולפניו שמונה מודלים סגורים. לפי Artificial Analysis, הפער בין המודל הפתוח המוביל לראש הטבלה עומד עכשיו על 12 נקודות. לפני השינוי הוא עמד על 3 נקודות בלבד.

מה השתנה

השינוי המרכזי הוא שימוש במבחנים חסויים. לראשונה, 60% מהמדד מבוסס על סטים של שאלות שלא פורסמו. המטרה היא להתמודד עם תופעה שנקראת "benchmaxxing": אימון מודלים על שאלות מבחן מוכרות, כך שהם מקבלים ציונים גבוהים בלי שהיכולת הכללית שלהם השתפרה באותה מידה. מבחן שאיש מחוץ לחברה לא ראה קשה הרבה יותר "ללמוד בעל פה".

לפי The Decoder, הירידה של Kimi K3.1 Pro מרמזת שהמדד הקודם הציג חלק מהמודלים כטובים יותר משהם באמת. גם מודלים סגורים נפגעו: Grok 4.7 איבד 12 נקודות.

"רק חלק מהסיפור"

חוקר ה-AI נתן למברט (Nathan Lambert) סבור ש-benchmaxxing לא מסביר את כל הפער. לדבריו, הרבה מהשיפור באימון מודלים מגיע היום מסביבות reinforcement learning (למידת חיזוק, שבה המודל לומד מניסוי, טעייה ומשוב). המשימות בסביבות האלה דומות לשאלות בבנצ'מרקים. כדי להשתפר בכמה תחומים במקביל צריך תשתית RL מתוחכמת, ולא לכל מעבדה יש כזאת. לפי ההסבר הזה, הפער לא בהכרח מעיד על "רמאות", אלא על הבדל אמיתי במשאבים וביכולות האימון.

והאם הטבלה מוטה?

בקהילת המודלים הפתוחים יש מי שרואים את השינוי אחרת. משתמש בפורום r/LocalLLaMA טען ש-Artificial Analysis כבר לא מציגה מודלים זולים כמו GLM5.3 flash ו-Qwen 3.8 flash. לדבריו, החברה מקדמת מודלים אמריקאיים ומסתירה חלופות משתלמות, והוא ביקש המלצות על טבלה אחרת. זו טענה של משתמש יחיד. המקורות הזמינים לא מאשרים שהמודלים הוסרו מהטבלה, וגם לא את הסיבה לכך.

מנגד, יש לביקורת על המבחנים החסויים גם בסיס עובדתי. כשהשאלות לא פומביות, גורמים חיצוניים לא יכולים למצוא בהן טעויות. ההוכחה שטעויות כאלה קיימות מגיעה מ-Artificial Analysis עצמה: לקראת המדד החדש היא נאלצה לתקן שאלות עמומות ושגויות במבחן הידע AA-Omniscience.

המשמעות

כנראה שבשאלה הזאת אין תשובה חד-משמעית. מבחנים חסויים קשים יותר לעקיפה, ולכן הם כנראה מודדים בצורה מדויקת יותר מה מודל באמת יודע. מצד שני, הם מבקשים מהקהל לסמוך על החברה שמפעילה אותם בלי אפשרות לבדוק אותה. לעומת זאת, הזינוק בפער מ-3 ל-12 נקודות לא מתיישב עם התחושה שרווחה בחודשים האחרונים, שהמודלים הפתוחים כמעט השיגו את הסגורים.

לקוראים, לחברות ולמפתחים שבוחרים מודל לפי טבלה אחת, המסקנה המעשית היא שציון אגרגטיבי (ציון אחד שמשקלל מבחנים רבים) הוא נקודת פתיחה ולא תשובה סופית. הוא לא בהכרח משקף עלות, מהירות או התאמה למשימה מסוימת, ושם מודלים זולים עשויים עדיין להיות הבחירה הנכונה.