מדד Taste-Bench: סוכני AI מתקשים בהחלטות אסטרטגיות לטווח ארוך
חוקרים ממיקרוסופט ומ-City University of Hong Kong בנו את Taste-Bench, מדד שבודק אם סוכני AI בוחרים בכיוון הנכון באמצע משימה ארוכה. המודל המוביל, GPT-5.6 Sol, ענה נכון על 59.7% בלבד משאלות של בחירה בין שתי אפשרויות. גם תקציב חשיבה גדול יותר כמעט לא שיפר את התוצאות.
סוכני AI מקבלים היום משימות ארוכות ומורכבות, כמו כתיבת מאמר מחקר או בניית פרויקט תוכנה שלם. מחקר חדש מראה שהם עדיין מתקשים בדבר שקובע במידה רבה את הצלחת המשימה: לבחור את הכיוון הנכון באמצע הדרך. חוקרים ממיקרוסופט ומ-City University of Hong Kong פיתחו מדד בשם Taste-Bench, ולפי הדיווח ב-The Decoder, גם המודל הטוב ביותר שנבדק בחר נכון בפחות מ-60% מהמקרים.
מה זה "טעם" של סוכן
במהלך משימה ארוכה סוכן מחליט כל הזמן איזו השערה לבדוק, על איזה קוד להמשיך לבנות ואיזה ניסוי להריץ. ההשפעה של החלטות כאלה כמעט אף פעם לא נראית מיד. החלטה גרועה יכולה להיראות סבירה לגמרי בהתחלה, והמחיר שלה מתגלה רק אחרי שהסוכן כבר ניצל את רוב התקציב שלו. מימוש נקי ומימוש מרושל יכולים להפיק אותה תוצאה ולעבור את אותן בדיקות, וההבדל ביניהם יתגלה רק כשיגיע הזמן לשנות את הקוד. החוקרים קוראים ליכולת לקבל החלטות כאלה היטב "טעם" (taste).
לדברי החוקרים, הבנצ'מרקים הקיימים בודקים בעיקר אם הסוכן סיים את המשימה, ולא את איכות הצעדים שעשה בדרך. Taste-Bench נועד לבדוק בדיוק את הצעדים האלה.
איך מודדים החלטה שתוצאתה תתברר רק בעתיד
החוקרים השתמשו בחוכמה שבדיעבד. מערכות סוכנים מנסות לעתים קרובות את אותה משימה כמה פעמים, והניסיונות מתפצלים בשלב מסוים לכיוונים שונים. התוצאה הסופית של כל ניסיון מראה איזה כיוון היה טוב יותר. החוקרים קוראים לנקודת הפיצול "צומת החלטה" (decision fork). כדי לבחון מודל הם עוצרים את הריצה בצומת, מסתירים את כל מה שקרה אחריו, ומבקשים מהמודל לבחור בין שני הכיוונים.
המדד כולל 502 שאלות משני סוגים. בסוג הראשון יש שני ניסיונות נפרדים לפתור את אותה משימה, שהתפצלו לכיוונים שונים. בסוג השני הסוכן תיקן את עצמו בתוך אותה ריצה אחרי שסטה מהדרך, והשאלה היא אם המודל יזהה את הטעות מוקדם יותר משהסוכן זיהה אותה. הנתונים נלקחו מאלפי ריצות של סוכנים על משימות קוד ומחקר AI, בהן SWE-bench Pro ו-MALT, מאגר התמלילים הציבורי של ארגון METR. בדיקה אנושית אישרה כמעט את כל התיוגים שנוצרו אוטומטית.
התוצאות: פחות מ-60%
נבדקו 14 מודלים ממשפחות Claude, GPT, Grok, DeepSeek, GLM, MiniMax ו-Mistral. כל שאלה הוצגה פעמיים, פעם בסדר הרגיל ופעם בסדר הפוך, ונספרה כתשובה נכונה רק אם המודל צדק בשתיהן. בשיטה הזו ניחוש אקראי מגיע ל-25%. במקום הראשון הגיע GPT-5.6 Sol עם 59.7%, ומיד אחריו GPT-5.5 עם 59.5%. כל שאר המודלים קיבלו ציונים נמוכים בהרבה. השאלות מהסוג השני, שבהן הסוכן תיקן את עצמו, היו קשות יותר באופן עקבי.
הממצא החשוב ביותר נוגע לשאלה מתי הרמז המכריע מופיע. כשהרמז כבר נמצא בצעדים שקדמו לצומת, הדיוק הממוצע של כל המודלים הוא 62.3%. כשהוא מתגלה רק אחרי עבודה רבה בהמשך, הדיוק יורד ל-21%, קרוב לניחוש. במקרים כאלה המודל נדרש למעשה לחזות עבודה שעוד לא נעשתה.
גם תקציב חשיבה גדול יותר לא עזר. החוקרים הריצו שני מודלים בשלוש רמות של חשיבה (reasoning), ומעבר מהרמה הנמוכה לגבוהה כמעט לא שינה את הדיוק. המודלים השקיעו הכי הרבה טוקנים של חשיבה דווקא בשאלות הקשות ביותר, שבהן טעו הכי הרבה. החוקרים מסיקים מכך שבצמתים האלה המידע הדרוש פשוט עדיין לא קיים.
למה זה חשוב
לדברי החוקרים, Taste-Bench מודד יכולת שונה מזו שנבדקת במבחנים כמו SWE-bench Verified, שבודקים רק את התוצאה הסופית: מודלים שמקבלים ציונים דומים שם מראים פערים ברורים במדד החדש. המשמעות היא ככל הנראה שציון גבוה במבחני השלמת משימות לא מבטיח שסוכן ינהל משימה ארוכה בחוכמה. זה נוגע במיוחד לארגונים שנותנים לסוכנים לעבוד באופן עצמאי לאורך זמן ועם תקציב מחשוב משמעותי. לפי הדיווח, החוקרים טוענים גם שאפשר לשפר את היכולת הזו באימון, אבל הפרטים על כך לא נכללו בחומרים שעמדו לרשותנו.