מיקרוסופט וברקלי משחררות את TokenEconomizer: תוסף שמוזיל את עלות סוכני הקוד בעד 30.9%

חטיבת המחקר של מיקרוסופט, Microsoft Research, ו-UC Berkeley שחררו כלי חדש בשם TokenEconomizer: תוסף בקוד פתוח (open source) שמטרתו להוזיל את העבודה עם סוכני קוד מבוססי AI. לפי הדיווח ב-MarkTechPost, התוסף לומד מסשנים קודמים של הסוכן. במדד SWE-Bench הוא הפחית את עלות הטוקנים ב-18.4% עד 30.9%, ולשם כך לא היה צורך לשנות את הסוכן עצמו.

מה זה בעצם אומר

סוכני קוד הם מערכות שמבוססות על מודלי שפה גדולים (LLM). הם לא רק משלימים שורת קוד, אלא קוראים קבצים, מריצים פקודות, מתקנים באגים ומבצעים משימות שלמות בכמה צעדים. כל צעד כזה עולה כסף: מודלי שפה מתומחרים לפי "טוקנים", יחידות טקסט קטנות שהמודל קורא וכותב. סוכן שעובד על משימה מורכבת עשוי לשלוח למודל שוב ושוב קבצים, היסטוריית שיחה ופלטים של פקודות, וכך החשבון גדל במהירות.

SWE-Bench הוא אחד ממדדי הביצועים המוכרים בתחום. הוא בוחן אם סוכן מצליח לפתור בעיות אמיתיות שנלקחו מפרויקטי תוכנה קיימים. לכן כשמציגים חיסכון על SWE-Bench, המשמעות היא חיסכון במשימות שדומות לעבודת פיתוח אמיתית, ולא בתרגילים מלאכותיים.

שתי נקודות שבולטות

הראשונה היא הלמידה מסשנים קודמים. ככל הנראה הרעיון הוא שסוכן שעובד שוב ושוב על אותו סוג משימות, או על אותו מאגר קוד, מבזבז טוקנים על אותם צעדים. כלי שזוכר מה עבד בעבר יכול לחסוך חלק מהבזבוז הזה. החומרים שפורסמו עד כה אינם מפרטים את המנגנון המדויק.

השנייה היא שהתוסף לא מחייב שינוי בסוכן. מבחינה מעשית זה כנראה הפרט החשוב יותר. ארגונים שכבר הטמיעו סוכן קוד לא יצטרכו להחליף אותו או לבנות מחדש את תהליכי העבודה, אלא להוסיף שכבה מעליו. העובדה שהכלי שוחרר כ-open source מאפשרת למפתחים לבדוק אותו בעצמם ולהתאים אותו לסביבה שלהם.

למה זה חשוב

הדיון סביב סוכני קוד עוסק בעיקר ביכולות: כמה משימות הם פותרים ועד כמה הם עצמאיים. בפועל, ככל שארגונים מפעילים יותר סוכנים לאורך יותר שעות, העלות הופכת לשיקול מרכזי. הפחתה של כמעט חמישית עד כמעט שליש בצריכת הטוקנים יכולה לשנות את החישוב הכלכלי של צוותים שמריצים סוכנים בהיקף גדול.

עם זאת, חשוב לזכור את גבולות הנתון: הטווח של 18.4% עד 30.9% נמדד על SWE-Bench. החיסכון בפרויקטים אחרים, בשפות תכנות אחרות או עם סוכנים שונים עשוי להיות שונה. השאלה הפתוחה היא אם החיסכון נשמר גם מחוץ למדד, ואם הוא בא על חשבון איכות הפתרונות. בשתי השאלות האלה יבחנו כנראה המפתחים שינסו את הכלי בשבועות הקרובים.