Gemini 4 Carbon של גוגל עקף את GPT-6.1 Sol במדד MathArena, במחיר גבוה פי 15

Gemini 4 Carbon של גוגל עלה למקום הראשון במדד המתמטיקה MathArena עם ציון צפוי של 85.4%, והדיח מהפסגה את GPT-6.1 Sol של OpenAI. כך מדווח האתר The Decoder, על סמך נתונים שפרסם ב-X יספר דקונינק (Jasper Dekoninck). לפי הדיווח, זו הפעם הראשונה מזה זמן שמודל שאינו של OpenAI מוביל את המדד.

במקום השני נמצא Claude Fable 5.2 של אנתרופיק עם 82.8%, ו-GPT-6.1 Sol ירד למקום השלישי עם 80.6%. שני המודלים שעקפו אותו חדשים מאוד: Fable 5.2 יצא ב-9 בנובמבר ו-Carbon ב-10 בנובמבר, בעוד Sol יצא ב-29 בספטמבר.

הפער בציון קטן, הפער במחיר גדול

דירוג	מודל	חברה	ביצועים צפויים	עלות צפויה
1	Gemini 4 Carbon (high)	גוגל	85.4% ±3.0%	15.70 דולר
2	Claude Fable 5.2 (max)	אנתרופיק	82.8% ±5.3%	40.20 דולר
3	GPT-6.1 Sol (max)	OpenAI	80.6% ±2.7%	1.07 דולר
המודל הפתוח הטוב ביותר	Kimi K3.1 Pro (max)	Moonshot AI	54.3% ±5.8%	3.70 דולר

בהגדרות החשיבה (reasoning) שבהן נבדקו המודלים, Carbon עלה בערך פי 15 מ-GPT-6.1 Sol, ו-Fable 5.2 בערך פי 40. בין המקום הראשון לשלישי מפרידות פחות מחמש נקודות אחוז, וטווחי אי-הוודאות שמופיעים בטבלה חופפים בחלקם. המשמעות היא שההובלה של Carbon אמיתית אך לא מוחצת, ושהמחיר שמשלמים עליה גבוה ביחס לתוספת.

מודל שלא יודע לוותר

לפי הדיווח, הכישלון הנפוץ ביותר של Gemini 4 Carbon במדד הוא חריגה ממגבלת הזמן. המודל גם כמעט אף פעם לא מוותר על משימה, תכונה שאפשר לראות בה יתרון או חיסרון. במקרה אחד הוא הפעיל סקריפט שרץ יותר מ-11 שעות, בלי לבדוק בדרך אם הוא מתקדם.

למי שמריץ סוכני AI על משימות ארוכות, זו התנהגות שכדאי להכיר: מודל שמתעקש עד הסוף עשוי לפתור בעיות שמודלים אחרים נוטשים, אבל הוא גם עלול לצבור זמן ריצה וחשבון בלי תוצאה.

הפער מול המודלים הפתוחים

המודל הפתוח הטוב ביותר במדד, Kimi K3.1 Pro של Moonshot AI שיצא ב-23 באוקטובר, הגיע ל-54.3% בלבד, כ-30 נקודות אחוז מתחת למוביל. במתמטיקה, לפחות לפי המדד הזה, המודלים הסגורים עדיין רחוקים מאוד מהפתוחים.

The Decoder מסייג את התמונה בנקודה אחת: הדירוג כולל רק מודלים שזמינים לציבור. לפי הדיווח, ל-OpenAI יש מודלים שעדיין לא שוחררו, ועליהם נטען לאחרונה שפתרו משוואות תובעניות כמו משוואות נאוויה-סטוקס. האתר מציג זאת כטענה ולא כעובדה מאומתת. בהתאם, הוא מתאר את Fable 5.2 כ"אחד המודלים המסוגלים ביותר הזמינים לציבור" למשימות מתמטיקה, וגם זאת בזהירות.