מיקרוסופט: סוכני AI בארגון צריכים להיחשב כמו איום פנימי

מיקרוסופט הציגה ביום שני סדרה של יכולות אבטחה חדשות לארגונים, שנועדו להגן עליהם מפני סוכני AI, ובכלל זה מפני הסוכנים שהארגונים עצמם מפעילים. כך דיווח TechCrunch. הבולטת בהן היא Guardian Agents, יכולת שתפקידה לנטר את סוכני ה-AI שפועלים בארגון. המסר שמלווה את ההשקה חריף במיוחד: לדברי מיקרוסופט, סוכנים כאלה צריכים להיחשב "איום פנימי", כמו עובד שיצא משליטה.

מהתקפה מבחוץ לסכנה מבפנים

Guardian Agents הוא חלק מ-Project Perception, מוצר שמיקרוסופט הציגה ביוני. לפי TechCrunch, המוצר נבנה כתשובה למודלי פריצה חזקים, כמו Mythos ו-Fable של אנתרופיק ו-Daybreak, המערכת של OpenAI לסריקת חולשות אבטחה. בהשקה הוא כלל שלושה סוגי סוכנים: "צוות אדום" שמתקיף כמו האקרים, "צוות כחול" שמזהה את ההתקפות ומעריך את החולשות שנמצאו, ו"צוות ירוק" שמתקן אותן.

ההנחה שעמדה בבסיס המוצר הייתה שהתוקף יגיע מחוץ לארגון. בזמן האחרון מנכ"ל מיקרוסופט, סאטיה נאדלה, מזהיר שהסכנה עשויה להגיע דווקא מהסוכנים שהארגון עצמו הטמיע ומשלם עליהם. בפוסט שפרסם החודש בבלוג האישי שלו כתב: "אנחנו פורסים את המערכות והמודלים האלה, נותנים להם גישה למידע הרגיש ביותר שלנו ואת היכולת לבצע בשמנו פעולות קריטיות". לדבריו, "הבטחות של ספק המודל אינן פוטרות אותנו מאחריות", ולכן "עלינו להפריד בין אספקת האינטליגנציה לבין הסמכות עליה".

ראש עסקי האבטחה של מיקרוסופט, הייטה גאלו (Hayete Gallot), ניסחה זאת ישירות עוד יותר: "לצערנו, מודלי הקצה, בלי קשר למקורם, אינם ראויים לאמון". לדבריה הבעיה איננה שהמודלים זדוניים או קלים לפריצה, אלא שאי אפשר לצפות את התנהגותם. הם אומנו להשלים משימות, לא לפעול לפי "נורמות ושיקול דעת ארגוניים", ולעיתים קרובות מקבלים גישה רחבה לנתונים ולכלים שבאמצעותם אפשר לגרום נזק של ממש.

מה כולל המוצר

מלבד Guardian Agents, מיקרוסופט הוסיפה ל-Microsoft Defender יכולת זיהוי שמאתרת עד 60 סוגים של סוכנים שעובדים מכניסים לסביבת העבודה, ובהם Claude Code, ‏Codex ו-OpenClaw. נוספו גם כלים שמגבילים את הגישה של סוכנים לנתונים ולמערכות ומתאימים את ההרשאות שלהם באופן דינמי לפי המשימה. אם נראה שסוכן מקבל החלטות מסוכנות, המערכת יכולה לדרוש אישור של אדם.

אינטרס כפול

העמדה של מיקרוסופט מעניינת בעיקר בגלל הקשרים שלה. החברה השקיעה גם ב-OpenAI וגם באנתרופיק, ‏OpenAI היא אחת מלקוחות הענן הגדולים שלה, ולמיקרוסופט יש מעבדת AI משלה שמפתחת מודלים. במובן מסוים היא מטילה ספק בשותפות שלה עצמה. מצד שני, כפי ש-TechCrunch מציין, יש כאן גם אינטרס עסקי ברור: מיקרוסופט רוצה שארגונים יקנו את כלי אבטחת הסוכנים מספקית הענן, ולא מהמעבדות שמפתחות את הסוכנים.

ובכל זאת, ההיגיון עצמו ככל הנראה נכון. אותו עיקרון קובע שרואה חשבון מבקר צריך להיות עצמאי מהחברה שהוא מבקר, וכך גם המערכת שמפקחת על סוכנים צריכה להיות נפרדת מהגורם שמספק אותם.

נראה שהגישה הזו מתפשטת בתעשייה. מיקרוסופט היא מהחברות המייסדות של Open Agent Safety Platform, פלטפורמה חדשה של אנבידיה שזכתה לתמיכה של יותר מ-100 חברות טכנולוגיה. הפלטפורמה מבודדת סוכנים בסביבות מאובטחות ויכולה לנטר את התנהגותם ולעצור אותה ברמת החומרה, בדומה ל"מתג השבתה" (kill switch). קודם לכן הכריזה מיקרוסופט על מחשבי Surface Laptop Ultra שנבנו לעבודה עם סוכנים, מבוססים על שבבים של אנבידיה וכוללים מובנית יכולות אבטחה ובקרה על סוכנים.

למה זה חשוב

המשמעות לארגונים, ככל הנראה, היא שינוי בשאלה לגבי AI. במקום "האם אפשר לסמוך על המודל?", השאלה הופכת ל"מי מפקח עליו, ובאיזה אמצעים?". ככל שסוכנים מקבלים יותר הרשאות ויותר עצמאות, יש סיכוי שהפיקוח עליהם יהפוך לקטגוריית מוצר נפרדת. מיקרוסופט מנסה לתפוס בה מקום מוביל, גם אם בדרך היא מערערת את האמון במודלים של השותפות הקרובות שלה.