מחקר: החלפת כלי התכנות עם AI כמעט לא משפרת תוצאות, אבל יכולה לשלש את צריכת הטוקנים
שני חוקרים מאוניברסיטת שאנדונג בדקו מה קורה כשמריצים את אותו מודל שפה בכלים שונים לסוכני תכנות: Claude Code, OpenCode ו-mini-SWE-agent. הם מצאו שהחלפת הכלי משנה את התוצאות בערך כמו הרצה חוזרת של אותה הגדרה. לעומת זאת, צריכת הטוקנים קפצה פי שניים עד שלושה בהשוואה לכלי החסכוני ביותר.
חברות שמשיקות כלים לסוכני תכנות מבוססי AI נוהגות להציג אותם עם ציון גבוה יותר בטבלאות ההשוואה. מחקר חדש מטיל ספק בטענות האלה. כשמחזיקים את המודל קבוע, החלפת הכלי כמעט לא משנה את שיעור ההצלחה, אבל צריכת הטוקנים, ואיתה העלות, יכולה לגדול פי שלושה.
מה זה בכלל "harness"
סוכן תכנות מורכב משני חלקים. הראשון הוא מודל השפה (LLM). השני הוא ה-harness, המעטפת שסביבו: ה-system prompt (הוראות הבסיס שהמודל מקבל), הכלים שעומדים לרשותו, והדרך שבה מנוהל הזיכרון של השיחה. המעטפת הזו היא מה שמאפשר למודל לעבוד בתוך מאגר קוד. שני חוקרים מאוניברסיטת שאנדונג בסין, ליו והאן, ניסו למדוד כמה המעטפת הזו באמת משפיעה. כותרת המאמר שלהם כבר רומזת על התשובה: "What does a harness buy? Mostly tokens" (מה קונה ה-harness? בעיקר טוקנים).
ההשוואות הקודמות מדדו רעש
לדברי החוקרים, מחקרים קודמים דיווחו על פערים של יותר מ-20 נקודות בין כלים שונים. אבל המספרים האלה הגיעו כמעט תמיד מהרצה אחת. במבחן SWE-bench Verified, מבחן מוכר של משימות תכנות אמיתיות, הרצה חוזרת של אותה הגדרה בדיוק כבר מזיזה את התוצאה בעד שש נקודות. Zhipu AI, למשל, מפרסמת שהכלי שלה מוביל ב-2.4 נקודות על Claude Code. פער כזה נמצא עמוק בתוך טווח הרעש.
החוקרים הריצו חמישה מודלים בשלושה כלים: Claude Code, OpenCode ו-mini-SWE-agent. המודלים היו Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash ו-HY4-Preview. Claude Opus 5 שימש כנקודת ייחוס בלבד, ורץ רק ב-Claude Code. הכלי mini-SWE-agent נותן למודל רק גישה ל-Bash, שורת הפקודה, ולא מנהל את הזיכרון של השיחה. Claude Code ו-OpenCode, לעומתו, מגיעים עם כלים ייעודיים לעבודה עם קבצים ולחיפוש, עם system prompts ארוכים ועם דחיסה אוטומטית של היסטוריית השיחה. הבדיקות נעשו על 45 המשימות הקשות ביותר ב-SWE-bench Verified ועל מאגר נוסף של 447 משימות.
כל ההרצות נעשו בלי חיבור לאינטרנט, וזה לא היה מקרי. בניסויים מוקדמים שבהם הייתה גישה לרשת, 71% מהניסיונות של מודלי Deepseek ו-Qwen פשוט שלפו את הפתרון הנכון מ-GitHub במקום לפתור את המשימה בעצמם. מודלי Claude כמעט לא עשו זאת. החוקרים פסלו את התוצאות האלה, והם לא טוענים שמישהו אימן את המודלים שלו על נתוני המבחן.
הכלי משנה בערך כמו הרצה חוזרת
על מאגר 447 המשימות, הפער בין Claude Code, הכלי הכבד ביותר, לבין mini-SWE-agent, הקל ביותר, היה פחות משתי נקודות בשני המודלים שנבדקו. בטווח של חמש נקודות השניים שקולים סטטיסטית. גם על 45 המשימות הקשות, שבהן ציפו החוקרים לראות את ההשפעה הגדולה ביותר, ההבדל בין הכלים היה שתיים עד חמש משימות פתורות לכל מודל. הרצה חוזרת של אותה הגדרה הזיזה את המספר בעד שלוש.
אחוז המשימות שהתוצאה שלהן מתהפכת מספר אותו סיפור. בין שתי הרצות חוזרות, התוצאה החציונית משתנה ב-13% מהמשימות. גם בין שני כלים שונים השיעור הוא 13%. כשמחליפים מודל, השיעור עולה ל-22%. בלשון החוקרים, הפער בין הכלים מתנהג כמו "הגרלה חדשה של אותו רעש".
בצד העלות התמונה שונה. לכל מודל, הכלים צרכו פי שניים עד שלושה טוקנים בהשוואה לאפשרות החסכונית ביותר, בזמן ששיעורי ההצלחה נשארו בתוך טווח אי-הוודאות של המדידה.
החריג: OpenCode
ההשפעה המדידה היחידה של הכלי הייתה פיגור עקבי של OpenCode, בעד תשע נקודות על המאגר הגדול. כמחצית מהפער נובעת ממגבלה על אורך הפלט. כשמודל חורג ממנה באמצע שלב חשיבה, Claude Code מבקש ממנו להמשיך, ואילו OpenCode מסיים את השלב, ובדרך כלל הניסיון נכשל. החוקרים הוסיפו ל-OpenCode הנחיית המשך בסגנון של Claude Code, וזה לא עזר. לשאר הפער אין להם הסבר. הם ציינו גם שבמודלים שרצו מקומית הוגדרה ל-OpenCode מגבלת זמן הדוקה בהרבה, משתנה שלא נשלט בניסוי.
למה זה חשוב
המסקנה המעשית היא שכדאי להתייחס בחשדנות לטענות על שיפור של כמה נקודות בזכות כלי חדש. לפי החוקרים, עם 45 משימות אפילו פער של 13 נקודות מתגלה רק בחצי מהמקרים, ורק עם 447 משימות אפשר לזהות באופן אמין פערים של כחמש נקודות. ארגונים שמשלמים לפי טוקנים יכולים להסיק שהבחירה במודל משפיעה על התוצאות הרבה יותר מהבחירה בכלי. כלי עשיר יותר ככל הנראה יעלה יותר, אבל לפי המחקר לא בהכרח יפתור יותר משימות.