מחקר של מיקרוסופט: כשסוכני AI "שוכחים" את השיחה, הם מוצאים פתרונות טובים יותר
חוקרים ב-Microsoft Research מצאו שסוכני AI שעובדים לאורך זמן נתקעים ב"אגני רעיונות", כלומר באזור צר של פתרונות דומים, בגלל ההקשר שמצטבר בשיחה. השיטה שהם מציעים, Fork-and-Flush, מוחקת את היסטוריית הצ'אט ומשאירה את סביבת העבודה כמו שהיא. באותו תקציב חישוב היא שיפרה את הציון הממוצע המנורמל ב-66%.
סוכני AI שעובדים במשך שעות ארוכות על בעיה אחת עלולים להיתקע, גם כשנותנים להם עוד כוח חישוב. כך עולה ממחקר חדש של Microsoft Research. לפי החוקרים, הבעיה היא היסטוריית השיחה שהולכת ומצטברת: היא גורמת לסוכן להמשיך ללטש פתרונות דומים, במקום לנסות כיוונים אחרים. הפתרון שהם מציעים נשמע כמעט פשוט מדי. מוחקים לסוכן את הצ'אט ומשאירים לו את הקבצים.
שמונה ריצות, שמונה תוצאות שונות
החוקרים בדקו סוג סוכנים שהם מכנים "Autoresearch agents". אלה מערכות AI שמציעות פתרון, בודקות אותו, משפרות אותו לפי המשוב, וחוזרות על כך שוב ושוב. הם הריצו את אותו סוכן על אותה משימה שמונה פעמים, בנפרד. הריצות התייצבו ברמות ביצוע שונות מאוד, עם ציונים סופיים שנעו בין 68.3 ל-100.0. לפי המאמר, הפערים האלה נשארו גם כשהסוכנים קיבלו הרבה יותר כוח חישוב.
כדי להבין את הפערים, החוקרים מיפו את הפתרונות מכל הריצות על מפה דו-ממדית, שבה פתרונות דומים מופיעים זה ליד זה. התברר שהפתרונות של כל ריצה כמעט תמיד נשארו באזור קטן אחד של המפה. החוקרים קוראים לאזורים האלה "אגני רעיונות" (idea basins). סוכן שנכנס לאגן פחות טוב מבזבז חלק גדול מהתקציב שנותר לו על שיפורים קטנים בתוכו, ולא מגיע לגישות הטובות יותר שריצות אחרות כן מצאו. הדפוס נשמר גם כשהסוכנים דוחסים מדי פעם את היסטוריית השיחה שלהם.
לפצל, לנקות ולהמשיך
השיטה החדשה נקראת Fork-and-Flush, והיא בנויה משני מנגנונים. בשלב ה-forking הסוכן מתפצל ל-K ענפים שרצים במקביל, וכל ענף מקבל את סביבת העבודה הקודמת ואת כל הקבצים שנוצרו בה. בשלב ה-flushing כל ענף מאבד את כל הקשר השיחה (context), אבל שומר את סביבת העבודה. כך הוא פותח שיחה חדשה וממשיך מהעבודה שכבר נעשתה. בסוף נשמר הענף הטוב ביותר, והשאר נזרקים.
לפי החוקרים, ענף שממשיך עם הצ'אט של התהליך שממנו התפצל נוטה לחזור לאותו אגן, כי ההיגיון הקודם מכוון את הצעדים הבאים שלו. הקשר נקי מחזיר לחיפוש את הגיוון. השיחה הולכת לאיבוד, אבל הקוד, הקבצים והתוצאות השמורות נשארים.
המספרים
השיטה נבדקה על 13 משימות ארוכות. ביניהן אריזת פוליאומינו, תזמון עבודות (job-shop scheduling), קריפטואנליזה, דחיסה של מסווג CIFAR ואופטימיזציה של VLIW kernel. כל ריצה נמשכה בין כמה שעות ליותר מ-100 שעות. הסוכנים השתמשו ב-GPT-5.6-terra וב-GPT-5.5 דרך GitHub Copilot CLI.
באותו תקציב חישוב, Fork-and-Flush השיגה ציון ממוצע מנורמל של 0.78. ריצה בודדת השיגה 0.47, ו-best-of-4 (ארבע ריצות נפרדות שמהן נבחרת הטובה ביותר) השיגה 0.54. זהו שיפור יחסי של 66.0% ו-44.4% בהתאמה. השיטה השיגה את הציון הממוצע הגבוה ביותר ב-12 מתוך 13 המשימות. גם התוצאות שלה היו עקביות יותר: סטיית התקן המנורמלת ירדה מ-0.26 בריצה בודדת ל-0.16. ניקוי ההקשר לבד, בלי פיצול לענפים, שיפר את התוצאות בכ-22%.
גם מודלים חזקים יותר?
החוקרים בדקו גם אם מודלים חזקים יותר נמנעים מאגני הרעיונות. לשם כך הם הריצו בעיות MAX-3-SAT על שלושה גדלים של מודל: Qwen3.5-4B, 9B ו-27B. השונות בין הריצות יצרה עקומה בצורת U הפוכה. היא הגיעה לשיא במשימות שנמצאות בקצה היכולות של המודל, בערך באמצע הדרך בין ניחוש אקראי לביצועים של פותר הייחוס. במשימות קלות מאוד המודלים כמעט תמיד מצליחים, ובמשימות קשות מאוד הם כמעט תמיד נכשלים. הדפוס חזר בכל שלושת הגדלים.
מכאן נובעת הטענה המרכזית של הכותבים. בעיות מחקר פתוחות נמצאות, מעצם הגדרתן, בקצה היכולות של המודלים. לכן הם מעריכים שהשונות ש-Fork-and-Flush מנצלת לא תיעלם כשהמודלים ישתפרו, אלא רק תעבור לבעיות קשות יותר.
המשמעות המעשית, ככל הנראה, נוגעת לכל מי שבונה סוכנים שעובדים לאורך זמן. הנטייה הטבעית היא לשמור כמה שיותר הקשר, אבל המחקר מראה שזיכרון השיחה יכול גם להגביל את הסוכן. לפי הממצאים, אפס יזום של הקשר השיחה, כשהעבודה עצמה נשמרת, עשוי להישאר כלי שימושי גם בסוכני מחקר מתקדמים.