אף סוכן AI לא עובר 12% במבחן העבודה החדש של SemiAnalysis
חברת האנליזה SemiAnalysis פרסמה את GDPx, מבחן שמציב סוכני AI ב-206 משימות עבודה מדומות, בהן תכנון שבבים ומסחר כמותי. Claude Opus 5.5 מוביל עם 12% בלבד, לפני Gemini 4 Carbon הזול בהרבה, ומבקרים מטילים ספק במהימנות התוצאות בגלל מספר המשימות הקטן ותנאי הבדיקה הלא אחידים.
חברת האנליזה SemiAnalysis פרסמה מבחן חדש לסוכני AI, מערכות שמבצעות משימות רב-שלביות באופן עצמאי, והתוצאות נמוכות: אף מודל לא עבר את רף 12%. בראש הדירוג של המבחן, GDPx, ניצב Claude Opus 5.5 של אנתרופיק עם 12%, ואחריו Gemini 4 Carbon של גוגל עם 10.9% ו-GPT-6 Astra עם 9.6%.
עבודה מדומה במקום שאלות ידע
GDPx לא בוחן ידע, אלא מכניס את הסוכנים לסביבות עבודה מדומות למשך עד שמונה שעות. שם הם מפעילים תוכנות מקצועיות כמו Siemens NX, מחפשים במאגרי נתונים עם אלפי קבצים או תוקפים מערכות ארגוניות פעילות. SemiAnalysis מבדילה את המבחן במכוון מ-GDPval של OpenAI, שלטענתה מספק את כל ההקשר בהנחיה עצמה וחסרה בו סביבת עבודה מציאותית.
206 המשימות מתפרסות על פני 11 תחומים בעלי משקל שווה, ובהם תכנון שבבים, ביולוגיה, מסחר כמותי, אבטחת סייבר ומשפטים. מנהלה וביטוח הושארו בחוץ במכוון: לטענת הצוות, טריליון הדולרים הראשונים בהכנסות AI יגיעו מהתעשיות שבהן מודלי החזית מניבים את התשואה הגבוהה ביותר.
הציונים אינם משקפים תמיד משימות שהושלמו במלואן. אף מודל לא פתר עד הסוף את משימות הפיננסים והמשפטים, וערך שגוי אחד בגיליון אלקטרוני הופך את התוצר לחסר תועלת בפועל. לפי קריטריון מחמיר כזה אף מודל לא היה משלים ולו משימה אחת, ולכן SemiAnalysis סופרת את שיעור הדרישות הבודדות שמולאו.
המחיר והכשלים
הפער בין שני המובילים קטן, אבל הפער במחיר גדול: Gemini 4 Carbon עולה 16.29 דולר למשימה, כשליש ממחיר Opus 5.5. בתחתית הסקאלה, GPT-6 Luna ו-DeepSeek 4.1 Flash מגיעים לכ-5% בעלות של כדולר למשימה.
הממצאים המפורטים מראים היכן הסוכנים נכשלים. במבחני alignment (התאמת התנהגות המודל לכללים שהוגדרו לו), 98% מ-200 הרצות סייבר הפרו לפחות כלל התנהגות אחד. במרפאה מדומה, אחד המודלים חתם על רשומה קלינית בשם הרופא. במסחר הכמותי, 70 מתוך 111 הרצות השיגו תוצאה גרועה מאסטרטגיית הייחוס שניתנה להן.
מנגנוני הבטיחות של הספקיות משנים גם הם את התמונה. ללא תחומי הסייבר, הביולוגיה וה-alignment, עוקף GPT-6 Astra את Opus 5.5 עם 11.8%, ואילו Muse Wonder Full של מטא יורד מהמקום הרביעי לשביעי. בתחום הסייבר עצמו קיבלו GPT-6 Astra ו-GPT 6.1 Sol אפס, ו-Muse Wonder Full הגיע ל-35.2%.
הביקורת
המשימות מגיעות מ-14 שותפים מתמחים, שמוכרים גם נתוני אימון והערכה למעבדות AI, ו-SemiAnalysis מודה שאין לה מומחיות פנימית בכל התחומים. לרוב רק משימה לדוגמה אחת מכל שותף גלויה לציבור, ובתחומים כמו משפטים ותכנון חומרה את התוצאות בודקים מודלי שפה לפי מחוונים, ולא מומחים אנושיים. מי שמחוץ למבחן לא יכול לאמת במלואם את רמת הקושי או את איכות הבדיקה. לסודיות יש גם יתרון: המעבדות לא יכולות לכוונן את המודלים לשאלות הספציפיות.
המפתח ג'וש פרטל מכנה את GDPx "יותר רעש מאות". לדבריו, כל מודל רץ בתוכנת הסוכן של הספקית שלו, למשל Opus ב-Claude Code, כך שספקיות עם כלים חלשים יותר נפגעות. בנוסף, תת-תחומים רבים כוללים רק כעשר משימות, מה שהופך את התוצאות לתנודתיות.
למה זה חשוב
המשמעות היא שהמרחק בין מודל שעונה היטב על שאלות לבין עובד שאפשר לסמוך עליו לאורך יום עבודה נותר, ככל הנראה, גדול. עם זאת, כשהפער בין המקומות הראשונים קטן ותחומים שלמים נשענים על עשרות בודדות של משימות, כדאי לקרוא את הדירוג כאינדיקציה ולא כהכרעה. SemiAnalysis מתכננת לעדכן את המבחן כל שלושה עד שישה חודשים, כך שהמגמה לאורך זמן עשויה לומר יותר מהתמונה הנוכחית.