מחקר חדש: סוכני AI שחושבים "בפנים" ועוברים לטקסט רק כשצריך
מאמר חדש ב-arXiv מציג את HybridAgents: סוכני AI שמבצעים את רוב החשיבה בייצוג פנימי, לא בטקסט, ועוברים למילים רק כשהם מפעילים כלים או מסבירים מה עשו. החוקרים מדווחים על שיפור ממוצע של 10.4% בביצועים ועל חיסכון של 35.5% עד 54.7% בטוקנים. אלה נתונים שהחוקרים מדווחים בעצמם, ועדיין לא נבדקו באופן עצמאי.
רוב סוכני ה-AI כיום "חושבים בקול": כל שלב בפתרון בעיה נכתב כטקסט, מילה אחר מילה. מאמר חדש שפורסם ב-arXiv מציע גישה אחרת. הסוכן מבצע את רוב החשיבה בייצוג פנימי שאינו שפה אנושית, ועובר לטקסט רק כשהוא צריך לפעול בעולם החיצון, למשל לחפש מידע או להפעיל כלי.
המאמר נקרא "Hybrid Reasoning Agents" והוגש ב-13 באוקטובר 2026. רשומים עליו שמונה מחברים, ביניהם Jiaru Zou ו-James Zou. פוסט שהפנה למאמר מייחס אותו לחוקרים מ-Stanford, מ-Together AI, מ-UIUC וממטא. עמוד המאמר ב-arXiv אינו מציין את השיוך המוסדי של המחברים, ולכן לא אימתנו אותו.
מה הבעיה שהמחקר מנסה לפתור
לפי תקציר המאמר, יש היום שתי גישות לחשיבה של מודלי שפה (LLM), ולכל אחת חולשה משלה. סוכנים מבוססי טקסט יודעים להשתמש בכלים, ואפשר לקרוא את שלבי החשיבה שלהם. אבל כתיבת כל מחשבה כטקסט צורכת הרבה טוקנים (יחידות הטקסט שהמודל מעבד ושלפיהן מתומחר השימוש בו). הגישה השנייה היא חשיבה סמויה (latent reasoning), שבה המודל "חושב" בייצוגים מספריים פנימיים. היא יעילה יותר, אבל לפי המחברים אין לה גישה טבעית לכלים, וקשה לראות מה קורה בתוכה.
HybridAgents מנסים לשלב בין השתיים. רכיב קל בשם HybridLink מאפשר לסוכן לעבור בין מצב טקסט למצב סמוי בתוך אותו תהליך יצירה. "זיכרון עבודה רציף" שומר את ההקשר בין שלבים, לפי המחברים בלי לאבד מידע. החוקרים כותבים שבזכות התכנון הזה אפשר לבדוק ישירות גם את המחשבות הסמויות. בשלב האימון המודל עובר שני שלבים: HybridSFT מלמד אותו לעבוד יחד עם HybridLink, ו-HybridRL, שמבוסס על למידת חיזוק (reinforcement learning), מלמד אותו מתי לחשוב בייצוג הפנימי ומתי לפעול באמצעות טקסט.
המספרים, ומה צריך לזכור לגביהם
לפי התקציר, החוקרים בדקו את השיטה בשלושה גדלי מודל ובאחד-עשר מבחני ביצועים (benchmarks) במתמטיקה, מדעים, רפואה, חיפוש ומשימות של סוכנים. בהשוואה לסוכני LLM מובילים ולמסגרות עבודה מבוססות טקסט ומבוססות חשיבה סמויה, הם מדווחים על:
- שיפור ממוצע של 10.4% בביצועים
- חיסכון של 35.5% עד 54.7% בטוקנים
- הסקה (inference, הרצת המודל לקבלת תשובה) מהירה פי 1.8 עד 2.6
- חיסכון בעלויות של פי 2.7 עד 3.7
בפוסט שהפנה למאמר המספרים עוגלו ל"חצי טוקנים" ול"פי שניים מהר יותר". המאמר עצמו מציג טווחים, והחיסכון בטוקנים ברוב הטווח נמוך מחצי. לא בדקנו את המספרים מול גוף המאמר, שאורכו 45 עמודים. הם לקוחים מהתקציר שכתבו החוקרים עצמם, והם לא שוחזרו באופן עצמאי. כמו כן, המאמר פורסם ב-arXiv, שבו מאמרים עולים לפני ביקורת עמיתים. לפי עמוד המאמר, הקוד והנתונים זמינים לציבור, כך שחוקרים אחרים יוכלו לנסות לשחזר את התוצאות.
למה זה חשוב
עלות ההרצה של סוכני AI היא אחד המכשולים המרכזיים לשימוש רחב בהם. סוכן שפותר משימה מורכבת עשוי לייצר אלפי טוקנים של "חשיבה" לפני התשובה. אם התוצאות יחזיקו מעמד, ייתכן שזה כיוון שיוזיל משמעותית את הפעלת הסוכנים בלי לפגוע באיכות.
לפחות לפי המחברים, החשיבה הסמויה כאן לא באה על חשבון השקיפות. אחת הביקורות על חשיבה בייצוג פנימי היא שקשה לדעת מה המודל "חשב". הטענה שהמחשבות האלה ניתנות לבדיקה ישירה היא ככל הנראה החלק שיעמוד במבחן הקשה ביותר מצד הקהילה המחקרית, ושאלה פתוחה היא עד כמה הבדיקה הזאת נגישה ומובנת בפועל.