דיווח: בנצ'מרק חדש למשימות ארוכות, GDPx, מראה שהמודלים המובילים משיגים ציון של כ-12% בלבד

בנצ'מרק חדש בשם GDPx מתואר כ"יורש של GDPval" ונועד לבדוק את יכולות המודלים המתקדמים במשימות ארוכות-אופק (long-horizon), כלומר משימות שנמשכות על פני הרבה שלבים. לפי פוסט שהופץ ברשת, המודלים הטובים ביותר משיגים בו ציון של כ-12% בלבד.

חשוב לסייג: בשלב זה מדובר בדיווח שלא אומת. הפוסט עצמו אינו מקור ראשוני, וחומרי המקור שעמדו לרשותנו לא כוללים הודעה רשמית, מאמר מחקר או מאגר נתונים של הבנצ'מרק. לכן לא ידוע מי פיתח את GDPx, אילו מודלים נבדקו, איך הוגדרה "הצלחה" ומתי פורסמו התוצאות. נעדכן כשיתפרסם מקור ראשוני.

מה זה GDPval, ולמה "יורש" שלו מעניין

GDPval הוא בנצ'מרק שמודד את ביצועי המודלים במשימות שנלקחו מעבודה מקצועית אמיתית, כמו מסמכים, ניתוחים ותוצרים שאנשי מקצוע מפיקים בעבודתם. בכך הוא שונה ממבחנים אקדמיים של חידות ושאלות ידע. אם GDPx אכן ממשיך את הקו הזה ומוסיף ממד של משימות ארוכות, ככל הנראה המטרה היא לבדוק אם מודל מסוגל להשלים פרויקט שלם לבדו, ולא רק לענות היטב על שאלה בודדת.

הנתון של כ-12%, אם יאומת, בולט מאוד. במבחנים ותיקים רבים המודלים המובילים כבר מגיעים לציונים קרובים לתקרה, ולכן נעשה קשה להבחין ביניהם. בנצ'מרק שבו גם המודלים החזקים ביותר מתקשים מאוד משאיר "מרווח" למדידת התקדמות בשנים הקרובות, וזו בדרך כלל הסיבה שמפתחים בונים מבחנים חדשים.

ההקשר: כולם מדברים על משימות ארוכות

העיתוי מתאים למגמה בתעשייה. בסוף ספטמבר הכריזה גוגל על Gemini 4 Argon כמודל שנבנה ל"הסקה מעמיקה לאורך תהליכי עבודה מורכבים וארוכי-אופק". גוגל העלתה את מגבלת הפלט של המודל ל-1M טוקנים, לעומת 64K קודם לכן. החברה הציגה גם תוצאות בבנצ'מרקים שמודדים ביצוע של משימות שלמות. למשל, ב-AutomationBench של Zapier, שבודק ביצוע מקצה לקצה של משימות בתחומים עסקיים מרכזיים, Argon הגיע למקום הראשון עם 51.3%.

גם הנתון הזה מלמד משהו: המודל שמדורג ראשון בבנצ'מרק עסקי קיים משלים בערך מחצית מהמשימות. ככל הנראה, הפער בין "מודל שעונה טוב" לבין "מודל שמשלים עבודה מקצועית לבדו" עדיין גדול.

למה זה חשוב

אם התוצאות של GDPx יאומתו, המסר יהיה שגם המודלים הטובים ביותר עדיין רחוקים מלהחליף עובד אנושי בפרויקטים ארוכים ומורכבים, למרות ההתקדמות המהירה במבחנים קצרים. מצד שני, מבחן חדש וקשה ישמש ככל הנראה גם קנה מידה לתחרות בין החברות, ולכן כדאי לעקוב גם אחרי האופן שבו הן יציגו את ההתקדמות בו.

עד שיתפרסמו המתודולוגיה והתוצאות המלאות, כדאי להתייחס למספר 12% כאינדיקציה ראשונית בלבד ולא כממצא מבוסס.