גוגל משחררת בקוד פתוח את Harness2: מסגרת שמשכתבת את ה-harness של סוכני AI בזמן הבדיקה

גוגל Research שחררה בקוד פתוח את Harness2, מסגרת שמשפרת סוכני AI בלי לאמן מחדש את המודל שמפעיל אותם. במקום לשנות את המודל, המערכת משכתבת את ה-harness, כלומר את שכבת התוכנה שעוטפת אותו, וזה קורה בזמן הבדיקה (test time). לפי הדיווח ב-MarkTechPost, שלב רענון אחד שיפר את המודל GLM-5 ב-11.5 נקודות במבחן WorkBuddy-Bench, בלי שום עדכון משקולות. המסגרת זמינה תחת רישיון Apache-2.0.

מה זה בכלל harness?

סוכן AI הוא יותר ממודל שפה (LLM). סביב המודל יש שכבת תוכנה שנקראת harness: ההנחיות שהוא מקבל, הכלים שמותר לו להפעיל, הדרך שבה מוזן לו מידע, והלוגיקה שמחליטה מה קורה אחרי כל צעד. בפועל, אותו מודל יכול להצליח מאוד או להיכשל באותה משימה, תלוי בשכבה הזו.

ברוב המקרים כותבים את ה-harness מראש, בידי אדם, והוא לא משתנה. החידוש ש-Harness2 מציגה הוא שהשכבה הזו לא קבועה. המסגרת משכתבת אותה בזמן הבדיקה, כשהסוכן כבר עובד, ולא בשלב הפיתוח. בכותרת הדיווח היא מתוארת כ-"Recursive Agent Harnessing Framework", מסגרת רקורסיבית. ככל הנראה הכוונה היא שהמערכת משפרת את המעטפת של הסוכן בכמה סבבים, שכל אחד מהם נשען על התוצאה של הקודם.

השיפור בלי לגעת במשקולות

הנתון הבולט בהודעה הוא השיפור של 11.5 נקודות שקיבל GLM-5 ב-WorkBuddy-Bench, ממבחני הביצועים לסוכנים, אחרי שלב רענון אחד בלבד. כדי להבין למה זה חשוב: הדרך המקובלת לשפר מודל היא אימון נוסף או fine-tuning, שמשנים את המשקולות, הפרמטרים הפנימיים של המודל. זה תהליך יקר שדורש כוח מחשוב, נתונים וזמן. במודלים סגורים רוב המשתמשים בכלל לא יכולים לעשות אותו.

Harness2 לוקחת כיוון אחר: המודל נשאר כמו שהוא, ורק הסביבה שבה הוא עובד משתנה. החומר שפורסם לא מפרט את ציון הפתיחה של GLM-5, ולא אומר אם המסגרת נבדקה על מודלים או מבחנים נוספים. לכן קשה להעריך כרגע עד כמה התוצאה תקפה גם מחוץ למקרה הזה.

רישיון פתוח

הבחירה ברישיון Apache-2.0 משמעותית בפני עצמה. זה רישיון open source מתירני, שמאפשר להשתמש בקוד, לשנות אותו ולשלב אותו גם במוצרים מסחריים. בפועל, חברות ומפתחים יוכלו לנסות את המסגרת על הסוכנים שלהם בלי מגבלות רישוי מהותיות.

למה זה חשוב

בשנים האחרונות התחרות בתחום ה-AI התמקדה בעיקר בבניית מודלים גדולים וחזקים יותר. Harness2 משתלבת במגמה שצוברת תאוצה: לחפש שיפורי ביצועים בהנדסת המערכת שמסביב למודל. אם התוצאות יחזרו על עצמן במודלים ובמשימות אחרים, המשמעות עשויה להיות שארגונים יוכלו לשפר סוכנים קיימים בעלות נמוכה בהרבה מאימון מחדש. ככל הנראה זה יעניין במיוחד את מי שעובד עם מודלים פתוחים.

עם זאת, כרגע מדובר בנתון אחד, ממבחן אחד, על מודל אחד. עד שהקהילה תבדוק את הקוד באופן עצמאי, נכון להתייחס לשיפור של 11.5 הנקודות כתוצאה מבטיחה שעוד צריך לאמת.