כך Postman מפעילה AI agent עבור 40 מיליון מפתחים על Amazon Bedrock

Postman, הפלטפורמה שבה מפתחים בודקים, מתעדים ומשתפים ממשקי API, פרסמה יחד עם AWS פירוט טכני על האופן שבו היא מפעילה את Agent Mode. זהו סוכן AI שעובד בתוך המוצר עבור קהילה של 40 מיליון מפתחים. הסוכן רץ על Amazon Bedrock, שירות של אמזון שמספק גישה מנוהלת למודלי שפה גדולים (LLM). המסר המרכזי בפוסט: לבנות סוכן להדגמה ולהפעיל סוכן בקנה מידה כזה הן שתי בעיות הנדסיות שונות.

מה Agent Mode עושה

לפי Postman, Agent Mode מאפשר לעבוד עם המוצר בצורה "AI-native" בכל השלבים: בדיקות, תיעוד, גילוי ומימוש של API. בדוגמה שהחברה מציגה, הסוכן פותח pull request (בקשה למיזוג קוד) ומציע את הצעדים הבאים, בלי שהמשתמש צריך לנווט בממשק.

הצוות ציפה שהאתגרים הקשים יהיו איכות המודל וניסוח ה-prompt. בפועל, הקושי העמוק יותר היה לשלב סוכן במוצר שהתפתח במשך 11 שנים. מפתחים למדו למצוא מידע דרך הממשק: לפתוח סרגלי צד, לעבור בין לשוניות ולפתוח בקשות. סוכן, לעומת זאת, "מסיק מתוך נתונים ולא מנווט במסך". ההתאמה חשפה הנחות מובנות ב-API של המוצר, בחוויית המשתמש ובאופן שבו הידע על המוצר מפוזר.

הבעיה של יותר מדי כלים

אחד הלקחים המעניינים בפוסט נוגע ל"כלים", הפעולות שהסוכן יכול לבצע בתוך Postman. בהתחלה בנה הצוות כלים קטנים ומדויקים מאוד, כמו פתיחת בקשה או עדכון של שדה בודד. הגישה הזו תמכה בדיוק ובשליטה, אבל תהליכי עבודה אמיתיים דרשו שרשראות ארוכות של קריאות לכלים. כל פעולה חזרה למודל לפני שהבאה בתור יכלה להתחיל, ולכן החוויה הכוללת הורגשה איטית.

בבדיקות של Postman, טעויות בבחירת כלים עלו ברגע שמספר הכלים הגלויים לסוכן עבר בערך 40. הסוכן ניסה לקרוא לכלים שלא קיימים, העביר ארגומנטים שגויים או בחר כלי שנראה הגיוני אבל לא התאים להקשר. מודלים גדולים או חדשים יותר צמצמו את התופעה, אבל לא העלימו אותה.

הפתרון: במקום לחשוף את כל הכלים, "סוכן שורש" מחפש במאגר וקטורי של תיאורי כלים ומצמצם יותר מ-170 כלים לכ-15 שרלוונטיים לבקשה. אחר כך הוא מעביר אותם ל-sub-agent (סוכן משנה) שפועל בהקשר מבודד. לפי Postman, צוואר הבקבוק העיקרי הוא ההקשר שהמודל מקבל, ולא היכולות שלו.

בקרה אנושית ופרטיות

Agent Mode דורש אישור מהמשתמש לפני כל פעולה שמשנה את מצב האפליקציה. בנוסף, Postman משתמשת ב-Amazon Bedrock Guardrails כדי להסיר מידע אישי מזהה לפני שהוא מגיע למודל. מנהלי ארגונים יכולים להפעיל את האפשרות הזו בהגדרות. החברה מציינת גם עיבוד חוצה-אזורים מוגבל גאוגרפית, מדיניות של אי-שמירת נתונים שתלויה במודל, ו-prompt caching (שמירה במטמון של חלקי prompt חוזרים) בכמה שכבות.

למה זה חשוב

חשוב לזכור שמדובר בפוסט שנכתב בשיתוף עם AWS, ספקית התשתית, ולא בבדיקה עצמאית. ועדיין, הוא מספק הצצה נדירה יחסית לבעיות שמופיעות כשסוכני AI עוברים מהדגמה לשימוש יומיומי בהיקף גדול. ככל הנראה, הלקחים של Postman רלוונטיים לכל חברה עם מוצר ותיק שמנסה להוסיף לו סוכן: המגבלה היא פחות "כמה חכם המודל" ויותר כמה טוב המוצר מוסבר לו. כלומר, אילו כלים הוא רואה, איזה הקשר הוא מקבל ואיפה נשאר אדם בלולאה.