ARC-AGI-3: הציונים כמעט הוכפלו בתוך חודש, והמודלים עצמם כמעט לא השתנו
כותרת שהופצה ברדיט דיברה על "קיר (אנכי)" במבחן ARC-AGI-3. אפשר לקרוא אותה כעצירה, אבל הנתונים מראים את ההפך. ב-4 באוקטובר הגיע ראש טבלת הדירוג של Kaggle ל-55.89%, כמעט פי שניים מ-27.9% בסוף ספטמבר. את הקפיצה הזאת הניעה בעיקר שכבת ההנדסה שעוטפת את המודלים, ולא מודלים חדשים.
בשבועות האחרונים הופץ ב-Reddit דיון שכותרתו "AI Has Finally Hit the (Vertical) Wall on ARC-AGI-3". אפשר לקרוא אותה כטענה שההתקדמות נעצרה, אבל התוצאות שפורסמו מראות את ההפך. לפי דיווח של Tech Times, טבלת הדירוג הקהילתית של התחרות ב-Kaggle הגיעה ב-4 באוקטובר 2026 ל-55.89%. זה כמעט פי שניים מ-27.9%, השיא שקבע הזוכה ב"אבן הדרך השנייה" של התחרות ב-30 בספטמבר. ככל הנראה ה"קיר" שבכותרת הוא דווקא עקומה שמזנקת כמעט אנכית.
ההפתעה האמיתית היא מה עומד מאחורי הזינוק. לפי הדיווח, המודלים שמפעילים את ההגשות המובילות כמעט לא השתנו. מה שהשתנה הוא ה-scaffolding, שכבת ההנדסה שעוטפת את המודל וקובעת איך הוא רואה את הסביבה, זוכר ופועל.
מה זה ARC-AGI-3
את המבחן השיקה ב-25 במרץ 2026 קרן ARC Prize, שייסדו חוקר ה-AI פרנסואה שולה (François Chollet) והיזם מייק קנופ (Mike Knoop). בניגוד לגרסאות הקודמות, שהציגו חידות חזותיות סטטיות על גבי רשת, ARC-AGI-3 מציב סוכן AI בסביבות אינטראקטיביות שדומות למשחקי וידאו פשוטים. אין בהן חוקים מוצהרים, אין תנאי ניצחון ואין הוראות. הסוכן צריך לפעול, לראות מה קורה ולהסיק לבד מה המטרה.
הציון נמדד במדד RHAE, שמשווה את מספר הפעולות שהסוכן צריך כדי לפתור משימה לבסיס השוואה אנושי. ציון של 100% פירושו יעילות ברמה אנושית. ניסוי וטעייה בכוח גס מוריד את הציון לכיוון אפס. בזמן ההשקה כל מודלי החזית קיבלו פחות מ-1%, ובני אדם קיבלו 100%. הקרן הגדירה אז את המבחן כ"מבחן הסוכנות הכללית היחיד שעדיין לא הגיע לרוויה".
אותו מודל, ציון אחר
לפי Tech Times, ניסוי מבוקר של OpenAI שפורסם ביולי הראה ששני שינויי תצורה בלבד, בלי לגעת במודל עצמו, הניבו שיפור של פי 4.9 בציון. מאז הקהילה בודקת את התובנה הזאת בהיקף רחב.
את הדוגמה הבולטת לכך מספקת Tufa Labs, מעבדת מחקר קטנה שמובילה כיום את הטבלה עם 55.89. אחריה נמצאת Yi-Chia Chen עם 48.59, ואחריהן קבוצה צפופה של מתחרים בטווח של 33% עד 38%. המעבדה זכתה ב-30 ביוני במקום הראשון באבן הדרך הראשונה, בפרס של 25,000 דולר, ושחררה את המסגרת שלה, The Duck, ברישיון MIT. המסגרת רצה על Qwen 3.6 27B, מודל open weights (מודל שהמשקלים שלו פתוחים להורדה) של עליבאבא. היא מציגה כל מצב משחק כמשתנים בשפת Python, והמודל פועל דרך סביבת REPL חיה (סביבה שבה מריצים קוד שורה אחר שורה). כך כל משחק הופך לבעיית תכנות אינטראקטיבית.
מגבלות שמכוונות את הפתרונות
חלק מהסיבה לדגש על הנדסה ולא על מודלים ענקיים הוא חוקי התחרות. בזמן ההערכה אין גישה לאינטרנט, והקצאת המחשוב מוגבלת ל-GPU יחיד. בנוסף, כל פתרון חייב להשתחרר כקוד פתוח (CC0 או MIT-0) לפני שהמתחרים מקבלים את הציון הפרטי שלהם. לפי הדיווח, הכלל הזה הוא שאפשר לקהילה לבנות במהירות זה על עבודתו של זה.
למה זה חשוב
הפער מבני האדם עדיין גדול. הפרס הגדול, 700,000 דולר מתוך קופה של 850,000 דולר, מותנה בהגעה ל-100% על קבוצת ההערכה הפרטית, ועד כה איש לא זכה בו. המועד האחרון להגשות הוא 2 בנובמבר 2026. כדאי לזכור גם שהמספרים שצוטטו לקוחים מטבלת הדירוג הקהילתית, ולא מתוצאות ההערכה הסופיות.
המשמעות הרחבה, ככל הנראה, היא שחלק ניכר מהיכולת של מודלי שפה לא מנוצל בגלל אופן ההפעלה שלהם, ולא בגלל גודלם. אם מודל בינוני שרץ על כרטיס גרפי אחד מכפיל את ציונו בזכות הנדסה טובה יותר, זה מעיד שהמרוץ אינו רק על מודלים גדולים יותר. הוא גם על הכלים שמסביבם.