ALTK-Evolve של IBM: לפי החוקרים, זיכרון נלמד מעלה סוכן שירות לקוחות לראש τ²-bench בתחום הקמעונאות, בלי מודל חזית
חוקרי IBM Research מדווחים שהשיטה ALTK-Evolve, שמזקקת כללי התנהגות מניסיונות קודמים של הסוכן ומוסיפה אותם להנחיות שלו, העלתה סוכן בסיסי שמבוסס על GPT-4.1 ל-67.5% Pass^4 בתחום הקמעונאות של τ²-bench. לדבריהם התוצאה גבוהה מכל הרשומות בלוח התוצאות של התחום. זו טענה של המפתחים עצמם, ועדיין לא אומתה באופן עצמאי.
צוות של IBM Research פרסם בבלוג של האגינג פייס תוצאות של ALTK-Evolve, שיטה שנותנת לסוכן AI "זיכרון נלמד" בצורת רשימה של כללי התנהגות. לפי החוקרים, סוכן שירות לקוחות בסיסי שמבוסס על GPT-4.1 הגיע בעזרת השיטה ל-67.5% במדד Pass^4 בתחום הקמעונאות (retail) של τ²-bench, תוצאה שגבוהה מכל הרשומות בתחום הזה בלוח התוצאות, נכון לתמונת המצב מ-12 באוקטובר 2026. את המספרים פרסמו המפתחים עצמם, ועד כה הם לא אומתו בבדיקה עצמאית.
מה בדיוק נמדד
τ²-bench, שפיתחה חברת Sierra, בודק עד כמה סוכן מסתדר בשיחות שירות לקוחות שיש להן מגבלות. בכל משימה הסוכן משוחח עם "לקוח" שמדומה על ידי LLM ויש לו מטרה מוגדרת. לרשות הסוכן עומדים כלים של התחום, כמו בדיקת הזמנה, החזר כספי או שינוי טיסה, ומסמך מדיניות כתוב שהוא חייב לפעול לפיו. משימה נחשבת מוצלחת רק אם מצב בסיס הנתונים בסוף השיחה זהה למצב הצפוי. זה ציון בינארי ונוקשה, כי הרבה מהפעולות אי אפשר לבטל.
במדד Pass^4 משימה נספרת רק אם הסוכן פתר אותה בכל ארבעת הניסיונות הבלתי תלויים. כלומר, המדד בודק גם יכולת וגם עקביות. בעולם שירות הלקוחות ההבדל הזה חשוב: סוכן שמצליח רק בחלק מהפעמים מתקשה לשמש בסביבת עבודה אמיתית.
איך זה עובד
ALTK-Evolve מנתחת את הניסיונות של הסוכן במשימות האימון, ובעזרת המודל עצמו מזקקת מההצלחות ומהכישלונות כללי התנהגות קצרים. למשל: לאמת את זהות הלקוח לפני כל פעולה על הזמנה, להציג סיכום מסודר של השינויים ולקבל אישור מפורש לפני כל פעולה שמשנה את בסיס הנתונים, ולפרט את סכום ההחזר בהחזרת מוצר בלי לחכות שהלקוח ישאל. הכללים מצורפים כרשימת Markdown פשוטה אחרי מסמך המדיניות בהנחיית המערכת (system prompt) של הסוכן.
לפי החוקרים, זה השינוי היחיד. הסוכן עצמו הוא מימוש ה-ReAct הבסיסי של τ²-bench, שעובד בלולאה של "חשיבה ואז פעולה" (THINK → ACT). המדיניות, הכלים והמבנה נשארו כמו שהם. אותו מודל, GPT-4.1, משמש גם לחילוץ הכללים וגם להפעלת הסוכן. אין עדכון של משקלות המודל ואין תיוג אנושי. הכללים חולצו ממשימות האימון והופעלו בלי שינוי על סט מבחן נפרד. בצד הלקוח המדומה פעל gpt-5.5, וכל משימה הורצה ארבע פעמים.
החוקרים מציינים גם שלכל כלל יש "מספר תמיכה" (support count): מספר משימות האימון השונות שמהן הוא חולץ. מספר גבוה מעיד שהכלל תקף במשימות רבות ואינו מקרה בודד. הם בדקו כמה כמויות שונות של כללים, בהמשך לעבודה קודמת שלהם שבה טענו שמודלים ומשימות שונים צריכים "מינון" שונה של הנחיות. ALTK-Evolve נוסתה קודם על סוכני קוד, והפעם היא נבחנה על שירות לקוחות.
למה זה חשוב
הטענה הבולטת היא שמודל ישן יחסית ונטול יכולות reasoning (חשיבה מורחבת) עקף את כל המתחרים בתחום הקמעונאות, רק בזכות הוספת כללים להנחיות. אם התוצאה תחזיק מעמד, המשמעות היא ככל הנראה שחלק ניכר מהפער בין סוכנים נובע מהיכרות עם "כללי המשחק" של התחום ולא רק מכוח המודל. לארגונים זה עשוי להיות רלוונטי במיוחד, כי השיטה לא מצריכה אימון מחדש או מודל יקר יותר.
עם זאת, כדאי להתייחס למספרים בזהירות. הם פורסמו בפוסט של המפתחים ולא בבדיקה חיצונית. הטענה שהוצגה נוגעת לתחום הקמעונאות בלבד, אף שהבדיקה כללה גם את תחום התעופה. בנוסף, ההשוואה היא ללוח תוצאות במועד מסוים, ולוחות כאלה משתנים מהר.