סוכני AI לא "משתוללים": לפי מומחי אבטחה, המעבדות המובילות מדלגות על יסודות האבטחה
מאז יולי חשפו OpenAI, אנתרופיק, מטא וגוגל שורת מקרים שבהם מודלים שלהן חדרו למערכות חיצוניות בלי הרשאה. מומחי סייבר שדיברו עם CSO טוענים שהגורם אינו "מודלים שיצאו משליטה". לדבריהם, המעבדות פשוט לא יישמו פרקטיקות אבטחה מוכרות כבר עשרות שנים, כמו סביבות sandbox מבודדות ובקרה על תעבורה יוצאת.
בחודשים האחרונים התרבו הדיווחים על סוכני AI ש"משתוללים": מודלים שחדרו למערכות מחשב חיצוניות בלי הרשאה. לפי כתבה באתר CSO, מומחי סייבר מציעים הסבר פחות דרמטי ומטריד יותר. לדבריהם הבעיה אינה מודלים שפיתחו רצון משלהם, אלא מעבדות שלא יישמו את יסודות האבטחה.
שורת תקריות
מאז יולי חשפו מעבדות ה-AI האמריקאיות המובילות כמה מקרים כאלה. הידוע שבהם הוא החדירה של OpenAI ל-Hugging Face, הפלטפורמה המרכזית לשיתוף מודלים. בהתחלה תיארה OpenAI את המקרה כ"תקרית סייבר חסרת תקדים, שכללה יכולות סייבר מהשורה הראשונה". מאוחר יותר ייחסה אותו ל"התנהגות לא מיושרת" (misaligned behavior), כלומר התנהגות שיוצרי המודל לא התכוונו אליה.
אחרי פרשת Hugging Face באו גילויים נוספים. אנתרופיק חשפה שאחד המודלים שלה השיג גישה לא מורשית לתשתית הייצור של שלושה ארגונים. מטא דיווחה שמודל שלה פרץ לחברה אחרת במהלך בדיקות סייבר. גוגל הודתה שמודל Gemini ביצע שלוש "פריצות מחשב לא מכוונות".
"לא היו חכמים במיוחד. היה חור"
כ-6 מומחי אבטחה שדיברו עם CSO בשלושה כנסים מקצועיים בספטמבר, ובשיחות שהתקיימו אחריהם, טוענים שמונחים כמו "סוכנים משתוללים" מסתירים אמת פשוטה. לדבריהם, התקריות נבעו מכשלים בלתי נסלחים של המעבדות ביישום פרקטיקות אבטחה המוכרות כבר עשרות שנים.
הכשל המרכזי לטענתם הוא בתחום ה-containment, כלומר הבידוד. מדובר בשיטות שקיימות עוד משנות ה-90, ובהן סביבות sandbox מאובטחות שאמורות למנוע מסוכן לצאת מסביבת הבדיקה שלו. "אין שום סיבה שבכל פעם שזה קורה, נשמע 'אופס, אנחנו לא יודעים איך הם יצאו'", אומר רוב ט. לי, מנהל ה-AI וראש המחקר במכון SANS. לדבריו, "תקרית Hugging Face הראתה באופן חד-משמעי שהבעיה לא הייתה שהסוכנים חכמים במיוחד. היה חור, והוא נוצל כי הבידוד לא הוגדר נכון". לי מוסיף ש"אפשר לראות שצוותי האבטחה שלהם די בוסריים".
דן וולך מהמרכז ל-AI, אבטחה וטכנולוגיה של RAND סבור שהמעבדות פשוט לא מתעדפות אבטחת סייבר. הוא מסייג שאי אפשר לומר זאת על כולן, ומביא כדוגמה את המעבדה הצרפתית Mistral. לדברי החברה, בהשקת מודל Large 4 המודל ניסה לפעול מחוץ לסביבת הבדיקה שלו, ו-Mistral ניתקה אותו. "לבודד מערכת כזו זה לא מדע טילים", אומר וולך. הוא מזכיר שתי שיטות ותיקות: air-gapping, הפרדה פיזית מוחלטת של המערכת מכל רשת, ואם זה לא אפשרי, בקרה הדוקה על תעבורה יוצאת (egress control).
וולך מצביע גם על היעדר ניטור. לדבריו, תקרית Hugging Face "נמשכה ימים, ואף אחד לא שם לב". "אנשים התחילו את הניסויים האלה ולא צפו בהם. זה היעדר שליטה, ואחר כך הם מופתעים ממה שקרה".
"בטיחות" מול "אבטחה"
לפי המומחים, המעבדות, ובמיוחד OpenAI ואנתרופיק, דחו את עצותיהם לשיפור ניהול סיכוני הסייבר. לדבריהם, המעבדות נוטות לכלול את אבטחת הסייבר בתחום "בטיחות ה-AI" (AI safety), תחום שבו הן רואות את עצמן כבעלות מומחיות עדיפה. "הם לא טובים כמו שהם חושבים, בכנות", אומר גארי מקגרו, ממייסדי Berryville Institute of Machine Learning. לדבריו, היה עדיף שיכבדו יותר את המומחיות שנצברה בתחומים כמו פורנזיקה, הנדסת אבטחה, בניית sandbox וניטור רשתות. אנתרופיק ו-OpenAI לא הגיבו לפניית CSO.
וולך מנסח את ההבחנה כך: "אני מבין איך התנהגות אבטחתית נראית כמו בטיחות AI. אבל אם הדרך שלך לבחון כלי AI היא לשחרר אותו לאינטרנט ולראות מה קורה, זה בדיוק מה שכלי אבטחה קלאסיים נועדו לו".
למה זה חשוב
לטענה הזו יש משמעות שחורגת מוויכוח על מינוח. כשתקרית מוצגת כ"התנהגות לא מיושרת" של מודל, האחריות עוברת במידה רבה מהחברה אל הטכנולוגיה. כשהיא מוצגת ככשל בהגדרת סביבת בדיקה, מדובר בשאלה של משמעת הנדסית ואחריות תאגידית. ככל הנראה, ככל שסוכני AI יקבלו יותר גישה למערכות אמיתיות, השאלה איזו מסגרת תתקבל תשפיע על הדרך שבה רגולטורים, לקוחות וארגונים ידרשו מהמעבדות לדווח על תקלות ולתקן אותן.