מבחן חדש של עליבאבא: גם סוכן הקידוד המוביל משלים עד הסוף רק כרבע מהמשימות האמיתיות

סוכני קידוד מבוססי AI מסוגלים כבר לבצע את רוב העבודה, אבל ברוב המקרים מישהו עדיין צריך לסיים אחריהם. זו המסקנה של מבחן חדש בשם Co-Design Bench, שפיתחו חוקרים מעליבאבא וממספר אוניברסיטאות באסיה. לפי הדיווח ב-THE DECODER, GPT-6 Astra, המודל הטוב ביותר מבין עשרת המודלים שנבדקו, ממלא בממוצע כ-70% מהדרישות של כל משימה. התוצאה נכונה לגמרי רק ב-26.4% מהמשימות.

למה צריך מבחן חדש

החוקרים מסבירים שהבנצ'מרקים הקיימים (מבחני ביצועים סטנדרטיים) כבר "רוויים". כשמודל יכול להריץ את הקוד שכתב, לבדוק אותו ולתקן אותו בעצמו, הוא מגיע בהם לציונים של יותר מ-99%, וכמעט אי אפשר למדוד הבדלים בין מודלים. במבחן ותיק כמו WebCompass-edit, מודלי קידוד אוטונומיים מגיעים לציונים כמעט מושלמים. ב-Co-Design Bench נפתח פער של יותר מ-35 נקודות אחוז.

במבחן החדש הסוכנים צריכים לשנות אפליקציות web קיימות לפי בקשות של משתמשים. לפעמים הבקשה מגיעה עם תמונה, הקלטת קול, סרטון או מסמך. הבקשות לקוחות מסשנים אמיתיים של עבודה עם כלי קידוד, והחוקרים העדיפו מקרים שבהם משתמשים נאלצו לנסח את הבקשה כמה פעמים או לבטל שינויים. כלומר, המבחן מורכב בעיקר ממשימות שכבר הקשו על סוכני AI בעבודה אמיתית. הן נעות בין תיקונים קטנים, למשל לשלוף סכום מקבלה ולעדכן את כל הסכומים שתלויים בו, ועד שכתוב של פרויקט שלם.

גם הבדיקה מחמירה. "שופט" AI אחד בודק את האפליקציה המוגמרת בדפדפן, ושופט שני בודק שוב כל תוצאה חיובית ומחפש הדמיות או תוצאות שנכתבו ידנית בקוד (hardcoded) במקום לעבוד באמת. נקודות ניתנות רק על פיצ'רים שעובדים באפליקציה.

הדירוג, ומה מכשיל את המודלים

אחרי GPT-6 Astra דורגו Claude Opus 5 ו-Qwen3.8-Max, ו-Grok 4.6 סיים במקום האחרון. בשכתובים גדולים טיפס Qwen3.8-27B, מודל קטן בהרבה, למקום השני, אבל החוקרים לא הסיקו מכך שיש לו יתרון כללי. גם המוביל לא עקבי: GPT-6 Astra פתר במלואן 41% מהמשימות שמשלבות קלט מסוגים שונים, כמו תמונה או סרטון, ורק קצת פחות מ-18% מהמשימות ברמת מאגר קוד שלם.

הממצא הבולט הוא הירידה בביצועים כשמשימה משלבת כמה סוגי שינויים: פריסה, עיצוב, אינטראקציה ותוכן. כל עשרת המודלים קיבלו ציון נמוך יותר כשמשימה דרשה שלושה או ארבעה סוגי שינויים. דרישות שלובות כאלה הן מצב רגיל בפרויקטים אמיתיים. גם יותר כוח חישוב לא פותר את הבעיה: GLM-5.2 צרך בשינויים קטנים כמעט פי שישה tokens (יחידות הטקסט שהמודל מעבד) מ-GPT-6 Astra, וקיבל ציון נמוך משמעותית.

לא רק המודל: גם הסביבה

בניסוי נפרד הריצו החוקרים את אותם מודלים בתוך harnesses שונים. harness היא התוכנה שדרכה הסוכן קורא, כותב ומריץ קוד. ציון Qwen3.8-27B בשכתובים גדולים היה 75% בסביבה אחת ו-56% בסביבה אחרת. גם השאלה איזה מבין שני מודלים מנצח הייתה תלויה בסביבה. לכן החוקרים ממליצים לדווח תמיד על המודל ועל סביבת העבודה יחד. המשמעות לחברות שבוחרות סוכן קידוד היא, ככל הנראה, שצריך לבחון את שני הרכיבים כזוג.

לממצא הזה יש גם סימן שאלה: לפי הדיווח, מחקר עדכני אחר על סוכני קידוד כמעט לא מצא תועלת מדידה ב-harnesses מורכבים יותר, אף שהם צרכו עד פי שלושה tokens.

המגבלות, והתמונה הרחבה

למבחן יש מגבלות. כל משימה כוללת בקשה אחת קבועה, בלי שאלות המשך או תיקונים של המשתמש באמצע העבודה, ושופטי ה-AI עלולים לטעות.

ובכל זאת, הממצאים מצטרפים למגמה מוכרת. מחקר של ארגון המחקר METR כבר הראה ששיעור הקבלה בפועל של קוד שנכתב ב-AI אצל מובילי פרויקטים היה נמוך בכ-24 נקודות אחוז מהציונים ב-SWE-bench Verified, אחד הבנצ'מרקים הנפוצים. בנוסף, פגמים בסביבות הבדיקה יכולים לאפשר לסוכנים "לעבור" משימות בלי לפתור אותן באמת. המסקנה הסבירה למפתחים ולמנהלים: ציון כמעט מושלם בטבלת דירוג אומר מעט על השאלה כמה עבודה ידנית יישאר לעשות בפרויקט אמיתי.