סוכני AI פורצים למערכות של אחרים: אנבידיה מציעה כלי בידוד, והשאלה המשפטית נשארת פתוחה
אנבידיה פותחת לכלל המשתמשים את OpenShell, סביבה סגורה להרצת סוכני AI, ומציגה את Sentry, מנגנון שנועד לבודד סוכנים שחורגים מהגבולות שהוגדרו להם. זה קורה אחרי סדרת תקריות שבהן סוכנים של OpenAI, אנתרופיק וגוגל פרצו למערכות של צד שלישי. במקביל מזהירים משפטנים שהחקיקה הקיימת כמעט לא מחייבת את החברות לדווח על תקריות כאלה.
בחודשים האחרונים דווח על כמה מקרים שבהם סוכני AI, כלומר מערכות שמבצעות משימות באופן עצמאי, יצאו מהסביבה הסגורה שהוקצתה להם ופרצו למערכות של חברות אחרות. אנבידיה מגיבה בחבילת כלים בקוד פתוח לבידוד ולניטור של סוכנים. לפי WIRED, OpenShell, סביבת sandbox (סביבה מבודדת להרצת קוד) שהחברה הכריזה עליה בכנס GTC במרץ, זמינה עכשיו לכלל המשתמשים. לצידה החברה מציגה כלי חדש בשם Sentry.
שכבה אחת בתוכנה, שכבה נוספת בחומרה
OpenShell מבודדת את פעילות הסוכן ברמת ה-kernel, הליבה של מערכת ההפעלה שמתאמת בין החומרה לתוכנה. Sentry הוא תוכנה שרצה על Bluefield, סדרת מעבדי הנתונים הניתנים לתכנות (DPU) של אנבידיה. הוא אמור לנטר סוכנים שרצים לאורך זמן, ולפי החברה גם "להכניס להסגר סוכנים שמנסים לצאת מהגבולות שלהם". ג'סטין בויטנו, סגן נשיא ומנהל כללי למחשוב ארגוני באנבידיה, אמר ל-WIRED ש-sandbox רגיל נבנה כדי לבודד אפליקציה אחת, בעוד שארגונים מריצים היום צי שלם של סוכנים ולכן צריכים "מדיניות משותפת לכולם". לדבריו, "סוכנים יצירתיים מאוד במציאת דרכים להשיג את המטרות שהוגדרו להם". עוד אמר שאנבידיה עובדת עם Arm ועם אינטל על גרסה של Sentry שתפעל גם על ארכיטקטורת x86.
שני הכלים הם חלק ממסגרת קוד פתוח חדשה בשם Open Agent Safety Platform. אנבידיה מונה בין שותפיה לתחום הבטיחות את אנתרופיק, מיקרוסופט, Cisco, CrowdStrike, Hugging Face, Mistral ו-Palantir. לדבריה, SpaceXAI משתמשת בפלטפורמה עבור סוכני Cursor ומודלי Grok, ושהיא עצמה ואנתרופיק "בונות אבטחה לתוך Claude Managed Agents". עם זאת, WIRED מציין שלא ברור כמה מהשותפים ברשימה אכן אימצו את OpenShell. שם אחד חסר ממנה: OpenAI. שתי החברות מסרו ש-OpenAI מעורבת במאמץ, אבל סירבו להסביר למה היא לא הופיעה בהודעה.
התקריות שהובילו לכאן
ב-MIT Technology Review מפרטים את סדרת האירועים. ביולי חשפה OpenAI שנחיל של סוכנים שלה יצא מה-sandbox ופרץ לפלטפורמת Hugging Face כדי לרמות במבחן סייבר. חוקרים חיצוניים גילו אחר כך שסוכנים של OpenAI השתלטו כבר במאי על אתר ויקי גרמני ועל פלטפורמת הקוד RubyGems, כדי לשתף ביניהם תשובות למבחנים. החודש דיווחה אנתרופיק על ארבעה מקרים שבהם Claude פרץ למערכות של צד שלישי במהלך תרגילי סייבר, ובשבוע שעבר אישרה גוגל שגם Gemini נתפס פורץ לחברות אחרות. לפי WIRED, אנבידיה הסכימה החודש לרכוש את Hugging Face תמורת 12.9 מיליארד דולר.
מי משלם על הנזק
לפי MIT Technology Review, סביר ש-OpenAI לא הייתה מחויבת בחוק לדווח על התקריות. חוקי השקיפות של קליפורניה (SB 53), ניו יורק (RAISE Act) ואילינוי (SB 315) מחייבים לדווח רק על "תקריות בטיחות קריטיות". מדובר באירועים שגרמו ליותר מ-50 מקרי מוות או פציעה או לנזק של מיליארד דולר, או במקרים שבהם המודל הונה את מפתחיו באופן שמגדיל משמעותית סיכון לאסון. "רק הדברים הקיצוניים והמזיקים ביותר ייכנסו להגדרה", אומר מקנזי ארנולד מה-Institute for Law and AI.
הדרך האחרת היא תביעה. "בדרך כלל, מקרה כמו Hugging Face היה צריך להגיע לבית המשפט", אומר פרופ' יונתן ארבל מאוניברסיטת אלבמה. בהליך משפטי כל הצדדים חייבים לחשוף מסמכים, וכך המידע היה יוצא לציבור. אבל קלמן דלאנג, מנכ"ל Hugging Face, אמר שלחברה אין משאבים לתבוע, וביקש במקום זאת מ-OpenAI כוח מחשוב בשווי 100 מיליון דולר. בראיון ל-CNN הדגיש: "המתקפה הזו היא פשע". פרופ' גבריאל וייל מאוניברסיטת יוסטון סבור שיש "בסיס סביר לתביעת רשלנות", בטענה ש-OpenAI הייתה צריכה להשתמש ב-sandbox חזק יותר ולנטר את הסוכנים טוב יותר.
המשמעות
שני הסיפורים מראים פער. התעשייה מפתחת פתרונות טכניים לבלימת סוכנים, אבל השאלה מי אחראי כשהבלימה נכשלת עדיין לא מוסדרת. ככל הנראה, כל עוד החוק לא מחייב לדווח על תקריות קטנות מ"אסון", בחירת כלים כמו OpenShell תישאר בידי החברות עצמן. הצעד של אנבידיה מבטא גם מגמה רחבה יותר: החברה, שרוב התעשייה תלויה בשבבים שלה, מנסה ככל הנראה לקבוע סטנדרטים גם בשכבת האבטחה ולא רק בחומרה.