סוכני AI שחושבים "מתחת לשפה" ופועלים דרך טקסט: מאמר מחקר מציע ארכיטקטורה היברידית
מאמר חדש ב-arXiv מציג את HybridAgents: סוכני AI שעוברים בין חשיבה פנימית במרחב הלטנטי לבין פעולה בטקסט, למשל קריאה לכלים. לפי החוקרים, הגישה שיפרה את הביצועים ב-10.4% וחסכה 35.5% עד 54.7% מהטוקנים. הקוד והנתונים זמינים לציבור.
צוות של שמונה חוקרים פרסם ב-13 באוקטובר את המאמר Hybrid Reasoning Agents. המאמר מציע דרך חדשה לבנות סוכני AI: הם "חושבים" בייצוג מספרי פנימי, ולא במילים, ועוברים לטקסט רק כשצריך לפעול מול העולם החיצוני. לפי החוקרים, הגישה משפרת את הביצועים וגם מקצרת את זמן הריצה ומוזילה אותה.
מה הבעיה שהמאמר מנסה לפתור
סוכני AI מבוססי LLM, כלומר מודלי שפה גדולים, עובדים היום כמעט רק דרך טקסט. הם מנסחים את שרשרת המחשבה שלהם במילים, קוראים לכלים חיצוניים כמו מנוע חיפוש או מחשבון בטקסט, ומקבלים את התשובות בטקסט. זה שקוף ונוח, אבל גם בזבזני: כל שלב ביניים נכתב במילים, וכל מילה עולה בטוקנים, בזמן ובכסף.
כיוון מחקר אחר, שנקרא latent reasoning (חשיבה לטנטית), מאפשר למודל לחשוב בתוך הייצוגים המספריים הפנימיים שלו בלי לתרגם כל צעד לשפה. החוקרים כותבים בתקציר שזו דרך יעילה יותר, אבל יש לה שני חסרונות: אין לה גישה טבעית לכלים חיצוניים, וקשה לבדוק מה המודל בעצם "חשב".
שאלת הפתיחה של המאמר מנסחת את האתגר כך: איך בונים סוכן שחושב מעבר לשפה האנושית, אבל עדיין פועל דרכה בסביבה החיצונית?
איך זה עובד
הפתרון שהחוקרים מציעים נקרא HybridAgents. אלה סוכנים שעוברים בין שני המצבים, חשיבה לטנטית ואינטראקציה בטקסט, בתוך תהליך יצירה אחד. לפי המאמר, המעבר מתבצע בעזרת רכיב קל בשם HybridLink. במקביל, "זיכרון עבודה רציף" שומר את ההקשר ההיברידי בין סבבי השיחה בלי לאבד מידע. החוקרים מדגישים שהמבנה הזה שומר על היכולת לעבוד עם כלים, ובנוסף מאפשר לבדוק ישירות את המחשבות הלטנטיות.
האימון נעשה בשני שלבים. בשלב הראשון, HybridSFT, המודל לומד לעבוד בתיאום עם HybridLink ולייצב את היצירה ההיברידית. בשלב השני, HybridRL, המודל לומד בשיטת למידת חיזוק (reinforcement learning) מתי כדאי לחשוב במרחב הלטנטי ומתי לפעול דרך טקסט.
התוצאות
החוקרים בדקו את הגישה בשלושה גדלי מודל ועל 11 מבחני ביצועים (benchmarks) בתחומי מתמטיקה, מדע, רפואה, חיפוש ומשימות סוכניות. לדבריהם, בהשוואה לסוכני LLM מובילים ולמסגרות עבודה מבוססות טקסט וחשיבה לטנטית, HybridAgent שיפר את הביצועים ב-10.4%. בנוסף הוא צרך 35.5% עד 54.7% פחות טוקנים, רץ מהר יותר פי 1.8 עד 2.6, ועלה פחות פי 2.7 עד 3.7.
חשוב לזכור שאלה נתונים שהחוקרים עצמם מדווחים, במאמר שעדיין לא עבר ביקורת עמיתים. כך נהוג ב-arXiv, שבו מתפרסמים מאמרים לפני שיפוט פורמלי. היתרון הוא שהקוד והנתונים פתוחים לציבור, כך שחוקרים אחרים יוכלו לנסות לשחזר את התוצאות.
למה זה חשוב
לקורא הרחב זו לא חדשה שמשנה משהו כבר מחר. ככל הנראה עוד יעבור זמן עד שגישות כאלה יגיעו למוצרים מסחריים, אם בכלל. ובכל זאת, המאמר נוגע בשני נושאים בוערים בתעשייה.
הראשון הוא עלות. סוכני AI שמבצעים משימות ארוכות צורכים כמויות גדולות של טוקנים, ולכן כל חיסכון משמעותי כאן מתורגם ישירות לכסף ולמהירות.
השני הוא שקיפות. אחת הביקורות על חשיבה לטנטית היא שהיא הופכת את המודל ל"קופסה שחורה" עוד יותר. המשמעות של הטענה שהמחשבות הפנימיות נשארות ניתנות לבדיקה היא ניסיון לגשר בין יעילות לבין פיקוח. אם הטענה הזו תעמוד בבדיקה של חוקרים אחרים, זה עשוי להיות הממצא המעניין ביותר במאמר.