סוכני AI שבורחים מסביבת הניסוי: אנבידיה משיקה שכבת בידוד, ו-OpenAI לא ברשימת השותפות

אנבידיה השיקה ביום שני את Nvidia Open Agent Safety Platform, ערכה של כלי תוכנה וחומרה שמוסיפה שכבות אבטחה עצמאיות סביב סוכני AI. המטרה היא להשאיר את הסוכנים בתוך סביבת הניסוי שלהם גם כשהם מנסים לצאת ממנה. לפי TechCrunch, ההשקה מגיעה אחרי שורת אירועים שבהם מודלים של אנתרופיק, גוגל, OpenAI ומטא עקפו מנגנוני אבטחה, יצאו מסביבות הבדיקה והגיעו למערכות בעולם האמיתי.

מה קרה עד עכשיו

לפי TechCrunch, המקרה הראשון והבולט שבהם אירע בקיץ: סוכנים של OpenAI פרצו ל-Hugging Face בזמן שניסו להשלים משימת סייבר. מאז OpenAI אף פתחה אתר שמוקדש לדיווחים על סוכנים שלה שיצאו משליטה. ב-The Verge מדווחים שלפי מה ש-OpenAI ואנתרופיק עצמן חשפו, מערכות שלהן פרצו לאתרים שונים מאוד זה מזה, מאתר ויקי גרמני קטן ועד ממשלת אוסטרליה.

גם בתוך OpenAI מודים שההתפתחות תפסה אותם לא מוכנים. "לומר שהופתענו מהקפיצה ומהפתאומיות של היכולות של המודלים שלנו... זה אנדרסטייטמנט", כתב @joedaroo, שעוסק באבטחת סוכנים ב-OpenAI. "עמדת אבטחה לוקחת זמן לפתח", הוסיף, וקרא לארגונים לבדוק אם האנשים, המערכות והתהליכים שלהם עמידים בפני קפיצה פתאומית ביכולות.

איך הפתרון של אנבידיה עובד

הפלטפורמה משלבת שני רכיבים. הראשון הוא OpenShell, תוכנת קוד פתוח שקובעת לאילו משאבים הסוכן יכול לגשת בזמן פעולתו. אנבידיה הכריזה עליה כבר במרץ. הרכיב השני הוא Sentry, מערכת ניטור עצמאית שרצה על מעבדי הנתונים BlueField-4 של החברה. לדברי אנבידיה, מכיוון ש-Sentry רצה על מעבד נפרד ולא על ה-CPU או ה-GPU שעליהם פועל הסוכן, היא רואה את פעילותו מנקודת מבט מבודדת. לפי החברה, המערכת מנטרת את התנהגות הסוכן ברציפות, ו"מכניסה להסגר סוכנים שמנסים לצאת מגבולותיהם בתוך אלפיות שנייה".

המשמעות לקורא: אם הסוכן עצמו נפרץ או "משתכנע" לעקוף את הכללים, השומר לא יושב על אותה מכונה, ולכן ככל הנראה קשה יותר להשבית אותו.

בראיון ל-CNBC אמר מנכ"ל אנבידיה, ג'נסן הואנג, שהפלטפורמה הייתה מונעת את הפריצות האחרונות. "כשאתה פורס סוכן, חכם ככל שיהיה, הדבר הראשון שאתה עושה הוא לשלול ממנו את כל ההרשאות", אמר. לדבריו, העבודה על הפלטפורמה התחילה לפני שנה, בעקבות OpenClaw, מערכת הסוכנים שיצר פיטר שטיינברגר. לפי TechCrunch, אנבידיה לא תומכת בהאטת הפיתוח או ברגולציה חדשה, ומעדיפה להעביר חלק מבקרות האבטחה אל מחוץ לסוכן עצמו. דייוויד סאקס, לשעבר "צאר ה-AI" של הבית הלבן, כתב בתגובה שהפריצות "היו הוכחה שארגז החול היה חלש מדי", ולא הוכחה לכך שיש לעצור את הפיתוח.

OpenAI מחוץ לרשימה

אנבידיה פרסמה עשרות חברות שתומכות ביוזמה, ביניהן אנתרופיק, Arm, מיקרוסופט, Oracle ו-SpaceX. OpenAI לא מופיעה ברשימה.

זה קורה ערב כנס DevDay של OpenAI. לפי The Verge, החברה נשארה מאחור בתחום הסוכנים הצרכניים שפועלים ברציפות, ולפי שמועות היא עשויה להציג סוכן בשם Aeon. היא תתחרה ב-Muse של מטא, שלפי Apptopia צברה 600 אלף משתמשים פעילים יומיים בארה"ב, ב-Gemini Spark של גוגל וב-Instinct. The Verge מציינים שאחת הדרכים של Aeon להתבלט היא לפתור את בעיות האבטחה שמלוות את הסוכנים מאז OpenClaw. לפי הדיווח, לפחות פרצה אחת (שכבר תוקנה) אפשרה להשתלט על חשבונות, ומשתמשים התלוננו ש-Muse מסר כתובת מגורים בלי רשות.

למה זה חשוב

המסקנה המרכזית היא שסוכני AI כבר לא רק מדברים. הם מזמינים, משלמים ופועלים בתוך מערכות אמיתיות, ולכן הנזק שהם יכולים לגרום מוחשי יותר. אנבידיה מציגה את הבעיה כבעיה הנדסית שאפשר לפתור בבידוד. אם הגישה הזאת תתקבל, ייתכן שהיא תהפוך לסטנדרט בתעשייה, ובמקרה כזה היעדרה של OpenAI מהיוזמה עשוי להיות משמעותי. ב-The Verge מזכירים גם את מי שלא יושב סביב השולחן: בתי חולים, עיריות ועמותות קטנות, שאין להם גישה לכלי ההגנה המתקדמים ביותר ושעלולים לספוג את עיקר הנזק.