סוכני AI שמשפרים את עצמם בלי לגעת במודל: גוגל משחררת את מסגרת RRSI כקוד פתוח

צוות המחקר Google Cloud AI Research שחרר כקוד פתוח את RRSI. זו מסגרת שמאפשרת לסוכני AI מבוססי LLM לשפר את עצמם. הסוכן לא מאמן את המודל מחדש. במקום זה הוא משכתב את מה שמסביב למודל: ההנחיות (prompts), הכלים שעומדים לרשותו והזיכרון שלו. משקלי המודל עצמם נשארים קפואים.

לפי הדיווח, כשהמסגרת רצה עם Claude Opus 4.8 של אנתרופיק, שיעור ההצלחה במבחן Terminal-Bench 2.1 עלה מ-74.2% ל-80.2%. בנוסף, הביצועים השתפרו בכל שש קבוצות המשימות שהוחזקו בצד (held-out), כלומר משימות שהמערכת לא נחשפה אליהן בתהליך השיפור.

מה זה בעצם "harness"

כדי להבין את החידוש צריך להבחין בין המודל לבין ה-harness שלו. המודל הוא ה"מוח" שאומן מראש. ה-harness הוא כל התשתית שעוטפת אותו כשהוא פועל כסוכן: ההוראות שהוא מקבל, הכלים שהוא יכול להפעיל (למשל הרצת פקודות בטרמינל או חיפוש קבצים) והמידע שהוא שומר בין צעד לצעד.

הדרך המקובלת לשפר מודל היא אימון נוסף, תהליך שדורש משאבי מחשוב, נתונים וגישה למשקלי המודל. חברות שעובדות עם מודלים סגורים דרך API בדרך כלל לא יכולות לעשות את זה בכלל. RRSI פועלת בשכבה אחרת: הסוכן לומד מהניסיון שלו ומעדכן את סביבת העבודה שלו, לא את המודל. המשמעות היא ככל הנראה שאפשר ליישם את השיטה גם על מודלים שהמשקלים שלהם לא זמינים, כמו Claude, שבו השתמשו החוקרים בניסוי.

הבעיה: שיפור שלא מחזיק מחוץ למבחן

הסכנה בכל מערכת שמשפרת את עצמה מול סט משימות קבוע היא התאמת-יתר (overfitting). המערכת "לומדת" לעבור את המבחן הספציפי, אבל השיפור לא עובר למשימות חדשות. לפי הדיווח, RRSI כוללת ארבעה מנגנונים שנועדו למנוע את זה:

• leakage critic: רכיב ביקורת שתפקידו, כפי שהשם מרמז, לזהות "דליפה", כלומר מצב שבו מידע ספציפי על משימות המבחן חודר לשינויים שהסוכן מבצע.
• noise floor: סף רעש. ככל הנראה המטרה היא לא לאמץ שינויים ששיפורם קטן מדי ביחס לתנודות האקראיות בביצועים.
• cost rule: כלל עלות, שככל הנראה מכניס לשיקול גם את מחיר השינוי ולא רק את התועלת שלו.
• pruning: גיזום, ככל הנראה הסרה של תוספות שאינן תורמות.

לפי המקור, המטרה של המנגנונים האלה היא שהשיפורים יחזיקו גם במשימות חדשות. השיפור בכל שש הקבוצות שהוחזקו בצד הוא הנתון שנועד להראות שזה אכן קורה.

למה זה חשוב

עד היום רוב השיפור בסוכני AI הגיע משני כיוונים: מודלים חדשים וחזקים יותר, או מהנדסים שמכווננים את ה-harness ידנית. RRSI מציעה דרך שלישית, שבה הסוכן עצמו עושה חלק מהכיוונון הזה. הערכה סבירה היא שאם הגישה תוכיח את עצמה מחוץ לסביבת המחקר, ארגונים יוכלו לשפר סוכנים קיימים בלי לחכות לדור הבא של המודלים ובלי לאמן מודלים משלהם.

עם זאת, חשוב לסייג: הנתונים שדווחו מתייחסים למבחן אחד ולמודל אחד. עוד לא ידוע כמה השיטה תעבוד במגוון רחב יותר של משימות ומודלים. שחרור הקוד כקוד פתוח יאפשר לחוקרים ולמפתחים אחרים לבדוק את זה בעצמם.