מחקר: לסוכני AI אין תחושת זמן - והם גם מעריכים יתר על המידה את הביצועים שלהם
מחקר חדש שנערך במסגרת תוכנית המחקר MATS מצא שסוכני קידוד מבוססי AI, כולל Claude Code ו-Codex, כמעט ואינם מסוגלים להעריך כמה זמן ייקח להם לבצע משימה וכמה זמן כבר חלף מאז שהחלו לעבוד עליה. הסוכנים גם נוטים להעריך את איכות העבודה שלהם הרבה מעל התוצאה בפועל, ולפי החוקרים מדובר בבעיה משמעותית עבור משימות ארוכות טווח.
מחקר חדש שנערך על ידי שני חוקרי AI עצמאיים, במסגרת תוכנית המחקר MATS, מצא כי סוכני קידוד מבוססי בינה מלאכותית מתקשים להעריך כמה זמן תיקח להם משימה, וגם מתקשים לדעת בדיעבד כמה זמן בפועל עבר עליהם בזמן העבודה. בנוסף, הסוכנים נוטים להעריך את איכות העבודה שביצעו הרבה מעבר לרמתה בפועל. הממצאים, שפורסמו בפלטפורמת LessWrong, מבוססים על בדיקה של שני כלים נפוצים: Claude Code של אנתרופיק ו-Codex של OpenAI.
איך נבדק הדבר
החוקרים ביקשו מהסוכנים להעריך מראש כמה זמן תיקח להם משימת קידוד נתונה, ולאחר סיום העבודה - לדווח בדיעבד כמה זמן, להערכתם, חלף. לבדיקה נעשה שימוש ב-200 משימות מתוך אוסף בשם ProgramBench, וב-18 בנצ'מארקים נוספים שהחוקרים בנו בעצמם.
התוצאות הראו הערכת יתר עקבית: על ProgramBench שני המודלים ניחשו בממוצע כ-90 דקות, כמעט ללא קשר לרמת הקושי של המשימה. בהערכה בדיעבד, לפי המחקר, Claude טעה פי שלושה בממוצע, ו-Codex טעה פי שישה עד עשרה. הטעויות הגדולות ביותר נרשמו במשימות קצרות - רק במשימות שנמשכות מספר שעות ההערכות התקרבו למציאות.
ממצא מעניין נוסף הוא שההתנהגות משתנה בהתאם לתשתית התוכנה שמריצה את המודל (מה שמכונה בעגה המקצועית harness). Claude Code ממשיך לעבוד עד שהוא "מחליט" שהמשימה הושלמה - חציון של כ-90 דקות - בעוד ש-Codex עוצר אחרי כחצי שעה, כמעט בלי קשר למשימה עצמה. לפי המחקר, אותו מודל שפה מבצע בממוצע פי 2.5 יותר צעדים כאשר הוא רץ בתוך Claude Code לעומת Codex, כלומר משך הריצה תלוי לא רק במודל אלא גם באופן משמעותי בסביבת התוכנה סביבו.
גם בהערכה עצמית של האיכות - הסוכנים טועים
מעבר לתחושת הזמן, הסוכנים התקשו גם להעריך נכונה את איכות התוצרים שלהם. המודלים הישנים יותר שנבדקו, Opus 4.8 ו-GPT-5.5, דירגו את עצמם בממוצע גבוה ב-20 נקודות אחוז מהציון שקיבלו בפועל - כולל מקרים שבהם המשימה נכשלה לחלוטין. במקרה אחד ששני המודלים העריכו את הצלחתם בכ-70%, הציון בפועל עמד על 7% ו-14.5% בלבד.
למה זה חשוב
לפי החוקרים, יכולת ההערכה העצמית הזו קריטית לכל ניסיון להפעיל סוכני AI על משימות ארוכות טווח שדורשות אוטונומיה - למשל הוראה כמו "המשך לעבוד על המשימה הזו במשך שעתיים". סוכן שלא יודע כמה זמן עבר, ולא יודע להעריך אם התקדם, קשה לשלוט בו וקשה לסמוך עליו במשימות שאורכות שעות. ממצא מעודד אחד: כאשר לסוכנים ניתנה גישה לכלי שמדווח את הזמן שחלף בפועל, ההערכות שלהם היו מדויקות כמעט תמיד - מה שמרמז שהבעיה נעוצה בהיעדר "שעון פנימי" ולא בחוסר יכולת בסיסית. בהמשך מתכננים החוקרים לבחון האם סוכני AI מסוגלים לעמוד במשך עבודה קבוע מראש, כגון "עבוד על זה בדיוק שעתיים".