אנתרופיק משיקה את Message Threads: הסוכנים שולחים רק את מה שהשתנה, ובשיחות ארוכות ההמתנה לתגובה הראשונה מתקצרת בכ-35%

אנתרופיק השיקה את Message Threads כגרסת בטא ציבורית בפלטפורמת Claude. זו יכולת חדשה שמשנה את האופן שבו מפתחים מנהלים שיחות ארוכות מול המודל. לפי דיווח ב-The Decoder, עד עכשיו כל בקשת API נאלצה לכלול מחדש את כל היסטוריית השיחה. עם Message Threads נשלח רק מה שהשתנה מאז ההודעה האחרונה. לדברי אנתרופיק, בבקשות בהיקף של 500 אלף עד מיליון טוקנים זה מקצר בכ-35% את הזמן עד הטוקן הראשון (time to first token), כלומר את משך ההמתנה עד שהמודל מתחיל להשיב.

מה בעצם השתנה

כדי להבין את החידוש צריך לדעת איך עובדים רוב ה-API של מודלי שפה. השרת לא "זוכר" את השיחה. לכן בכל פעם שמפתח שולח הודעה חדשה, הוא שולח איתה גם את כל מה שנאמר קודם: ההוראות, ההודעות הקודמות, תוצאות הכלים, המסמכים והתמונות. בשיחה קצרה זה כמעט לא מורגש. בשיחה שמגיעה למאות אלפי טוקנים, מדובר בכמות גדולה של מידע שעוברת שוב ושוב ברשת בכל סבב.

ב-Message Threads השיחה נשמרת בצד של אנתרופיק בין בקשה לבקשה, והמפתח שולח רק את התוספת החדשה. לפי הדיווח, ה-thread נשמר מוצפן בזיכרון בין הבקשות ופג תוקפו אחרי חמש דקות ללא פעילות.

מי ירוויח מזה

לדברי אנתרופיק, מי שירוויחו הכי הרבה הם סוכני קוד, סוכני computer use (סוכנים שמפעילים מחשב בעצמם: לוחצים, מקלידים וקוראים את המסך), ותהליכי עבודה שמעבדים הרבה מסמכים או תמונות. המשותף להם ברור: אלה תהליכים ארוכים שבהם ההקשר תופח מסבב לסבב, והמודל נקרא שוב ושוב לאורך משימה אחת.

ככל הנראה, בסוכנים כאלה ההשפעה מצטברת. סוכן קוד שמבצע עשרות צעדים ממתין לתגובת המודל בכל אחד מהם, כך שקיצור ההמתנה בכל צעד עשוי להתבטא בזמן כולל קצר יותר למשימה כולה.

מה לא השתנה

נקודה חשובה: צריכת הטוקנים נשארת כפי שהייתה. לפי הדיווח, Claude עדיין קורא את כל היסטוריית השיחה, ורק השליחה שלה מחדש נחסכת. המשמעות היא שהיתרון של Message Threads נוגע בעיקר למהירות ולא לחיסכון בצריכת הטוקנים. מפתחים שקיוו שהיכולת תקטין את מספר הטוקנים שבגינם הם משלמים כנראה לא ימצאו כאן את זה.

גם מגבלת חמש הדקות דורשת תשומת לב. תהליך שעוצר לזמן ארוך יותר, למשל כשהוא ממתין לאישור של אדם, יאבד ככל הנראה את ה-thread, ויהיה צורך לשלוח שוב את השיחה המלאה.

זמינות

היכולת זמינה בפלטפורמת Claude, וגם דרך AWS, ‏Microsoft Foundry ו-Google Cloud. לפי הדיווח, הפרטים המלאים מופיעים בתיעוד של אנתרופיק.

למה זה חשוב

ככל שסוכני AI עובדים זמן רב יותר ומטפלים בהקשרים גדולים יותר, זמן התגובה הופך לצוואר בקבוק מעשי, לא רק לנתון במדד ביצועים. הצעד של אנתרופיק משקף ככל הנראה מעבר הדרגתי מ-API שבו כל בקשה עומדת בפני עצמה למודל שבו השיחה נשמרת בצד הספק, לפחות לזמן קצוב. בשלב זה מדובר בבטא, והנתון של 35% מגיע מהחברה עצמה. מידת השיפור בשימוש בפועל תתברר כשמפתחים ישלבו את היכולת בסוכנים שלהם.