AWS משדרגת את AgentCore: סשנים מבודדים לסוכני AI עולים מהר יותר ומקבלים יותר משאבים

אמזון (AWS) הכריזה על דור חדש של AgentCore runtime. זו שכבת המחשוב המנוהלת של Amazon Bedrock AgentCore, הפלטפורמה של החברה לבנייה ולהרצה של סוכני AI בארגונים. לפי AWS, סשנים עולים עכשיו מהר עד פי 15, יכולים לקבל עד פי 4 יותר משאבי מחשוב ופועלים ביעילות גבוהה בעד 68%. כל זה בלי לוותר על הבידוד בין סשנים, שנשאר כמו שהיה.

הבעיה: אבטחה, מהירות ועלות

סוכני AI כבר לא מסתפקים במענה על שאלה בודדת. הם מריצים קוד, מנווטים בדפדפנים, ניגשים לנתונים רגישים ופועלים בשם משתמשים, לפעמים במשך שעות. AWS מביאה בהודעה נתונים שממחישים את המגמה. לפי ארגון המחקר METR, אורך המשימות שסוכנים מתקדמים מסוגלים להשלים לבד מוכפל בערך כל ארבעה חודשים. לפי McKinsey, ‏40% מהארגונים הגדולים מרחיבים כיום את השימוש בסוכנים, לעומת 27% לפני שנה.

כשסוכן יכול להריץ קוד ולגעת בנתונים, כל סשן צריך סביבה מבודדת משלו. כאן AWS מצביעה על דילמה מוכרת. אפשר להחזיק סביבות מוכנות מראש, אבל הן צורכות משאבים גם כשהן לא בשימוש. אפשר גם להקים סביבות לפי דרישה, אבל אז יש "cold start", כלומר המתנה עד שהסביבה עולה. החברה מצטטת גם את Deloitte: רק 15% מהארגונים הרחיבו מערכות מרובות-סוכנים, ו-70% אומרים שהם עדיין לא יכולים לסמוך על הסוכנים שלהם ולפקח עליהם.

מה השתנה

העיקרון הבסיסי לא השתנה. כל סשן רץ ב-MicroVM (מכונה וירטואלית זעירה) נפרד, שמבוסס על טכנולוגיית Firecracker של AWS ומבודד ברמת החומרה. לכל סשן יש זהות, מדיניות הרשאות ותיעוד ביקורת (audit trail) משלו. אלה השינויים לפי AWS:

• יותר משאבים: עד 8 מעבדים וירטואליים (vCPU) ו-‏32GB זיכרון לסשן, ותמיכה בתמונות קונטיינר בנפח של עד 10GB. לדברי החברה, זה מאפשר משימות כמו קימפול של בסיסי קוד גדולים, תהליכים מבוססי דפדפן והרצה מקומית של מודלים.
• עלייה מהירה: סשנים עולים בפחות משתי שניות, בלי קשר לגודל התמונה או למספר הסשנים שרצים במקביל. לטענת AWS, כבר אין צורך להחזיק "warm pools" (מאגרי סביבות שפועלות מראש) כדי להתגבר על זמני המתנה.

החברה מציינת שהעדכון עונה על דרישות של לקוחות ליותר כוח מחשוב, לחיוב גמיש יותר ולגבולות אמון שחלים גם על הנתונים ולא רק על המחשוב. ההודעה מתארת חיוב לפי שימוש כחלק מהכיוון הכללי.

מה אומרים הלקוחות

סיווי שן, סגן נשיא להנדסה ב-Coinbase, מסר שהמעבר לגרסה החדשה קיצר את זמני ה-cold start של הסוכנים בחברה "מכמעט דקה לפחות מחמש שניות, גם בשעות העומס". לדבריו, עיכובים של יותר מ-30 שניות נעלמו, וזאת בזמן שכמות הסוכנים השבועית בחברה גדלה ביותר מפי שניים.

ב-Mission Cloud משתמשים בשירות להפעלת סוכן שעונה על שאלות בשפה טבעית על נתוני נדל"ן ומכירות. ד"ר ראיין ריס, מדען ה-AI והנתונים הראשי בחברה, דיווח שבהשוואה ראשונית בין הגרסאות, אותו עומס עבודה הראה cold start מהיר ב-35% בבקשות inference, הפעלה מהירה ב-77% בבדיקות תקינות (health checks) וירידה של 17% בעלות ההרצה שנמדדה לכל קריאה.

למה זה חשוב

ההכרזה מכוונת בעיקר למפתחים ולצוותי תשתיות בארגונים, אבל היא משקפת מגמה רחבה יותר. אחרי שהמודלים עצמם השתפרו, המכשול להכנסת סוכנים לייצור עובר ככל הנראה לתשתית: איך מריצים אלפי סוכנים במקביל, כל אחד בסביבה מבודדת, בלי לשלם על משאבים שלא בשימוש. אם הנתונים של AWS יחזיקו גם בעומסים אמיתיים, ארגונים יוכלו כנראה לוותר על חלק מהתשתית שהם בונים כיום בעצמם. צריך לזכור שהמספרים מגיעים מהחברה עצמה ומלקוחות שהיא בחרה לצטט, ולא ממדידה בלתי תלויה.