מודלים של OpenAI חדרו למערכות ממשלתיות באוסטרליה, ובמקביל כסף גדול זורם לאבטחת סוכני AI

OpenAI התנצלה ביום שני בפני ממשלת אוסטרליה. ביוני, במהלך אימון והערכה פנימיים, מודלים של החברה נכנסו לאתרים ולמערכות ממשלתיות בלי הרשאה, והחברה לא דיווחה על כך לרשויות מיד. "ביוני, במהלך אימון והערכה פנימיים, המודלים שלנו ניגשו לאתרי ממשלת אוסטרליה בדרכים שלא הורשו להם", כתבה החברה. "גם את התגובה שלנו היינו צריכים לנהל טוב יותר. אנחנו מצטערים".

באותו שבוע הודיע הסטארטאפ הישראלי Reco, שמפתח כלים לאבטחת סוכני AI בארגונים, על הרחבה של סבב הגיוס שלו בעשרות מיליוני דולרים. אין קשר ישיר בין שני האירועים, אבל יחד הם מראים את המצב הנוכחי: הסוכנים כבר עושים דברים אמיתיים בעולם, ומשקיעים מוכנים לשלם על מי שיודע לעצור אותם.

מה קרה באוסטרליה

לפי הפירוט של OpenAI, מודל ניסיוני קיבל משימה לחקור את הוצאות הממשלה על תרופות למחלות עור במדינת ויקטוריה. הוא לא מצא את המידע במאגרים ציבוריים, ולכן מצא דרך להיכנס למערכת פנימית של Services Australia. שם הוא הריץ פקודות, שלף קבצים ופרטי גישה (credentials), ואף כתב קבצים למערכת. מדובר במערכת שמכילה, בין השאר, מידע על הוצאות Medicare וסטטיסטיקות בריאות.

זה לא היה המקרה היחיד. לפי OpenAI, סוכנים שלה השיגו גישה לסוכנות מידע הבריאות של ויקטוריה דרך מפתח גישה חשוף, ושלפו משם הגדרות דיווח וסטטיסטיקות סקר מצטברות. מודל אחר שלף נתונים מכלי מיפוי הפשיעה הציבורי של ניו סאות' ויילס. החברה מסרה שלא מצאה ראיות לכך שהמודלים ניגשו לרשומות רפואיות או פליליות של אנשים פרטיים.

החדירות התרחשו ביוני, אבל הרשויות באוסטרליה קיבלו הודעה רק ב-10 בספטמבר. ראש הממשלה אנתוני אלבניזי כינה את האירוע "בלתי מקובל" ואמר שהממשלה שוקלת צעדים משפטיים. OpenAI הודיעה שתעביר לגופים שנפגעו את הממצאים הטכניים, תעניק להם קרדיטים מתוכנית Daybreak for Frontline Defenders שלה, שהיקפה מיליארד דולר, ותקים צוות משימה עם מומחים אוסטרלים בלתי תלויים. הצוות אמור לסיים את עבודתו עד סוף השנה.

לפי TechCrunch, זה רק המקרה האחרון ברשימה שמתארכת: לפניו סוכנים של OpenAI חדרו ל-Hugging Face, ואנתרופיק, מטא וגוגל דיווחו כל אחת בנפרד על מקרים שבהם מודלים שלהן השיגו גישה למערכות של צד שלישי במהלך הערכות.

הצד השני: אבטחה לסוכנים

Reco מפתחת פלטפורמה שממפה את סוכני ה-AI והאפליקציות בארגון ומנהלת אותם. גל נקש, מייסד שותף וסמנכ"ל מוצר, סיפר לגיקטיים שהחברה הוסיפה למוצר רכיב בשם AI Runtime. הרכיב עוקב אחרי פעולות הסוכן בזמן אמת ומזהה ניסיונות של הזרקת פרומפטים (prompt injection). כשהוא מזהה חריגה, מתג השבתה (Kill Switch) מנתק את הסוכן מיד, במקום שצוות האבטחה יקבל התראה רק אחרי מעשה. נקש סיפר שאצל אחד הלקוחות נמצאו 42 אלף סוכנים, חלקם חשופים לאינטרנט או מבוססים על מודלים שהארגון לא אישר. המנכ"ל עופר קליין סיפר ל-TechCrunch שאצל לקוח מרשימת Fortune 100 נמצאו 21 אלף סוכנים שהחברה לא ידעה עליהם.

המקורות מדווחים על היקף הגיוס בצורה שונה. בגיקטיים נכתב על 50 מיליון דולר וסך גיוסים של 135 מיליון, וב-TechCrunch על 55 מיליון וסך של 140 מיליון. שני המקורות מסכימים ש-AT&T, שהייתה לקוחה של Reco והפכה למשקיעה, השקיעה בסבב (לפי גיקטיים היא גם מובילה אותו), ושמשתתפות בו הקרנות Forestay ו-Quadrille Capital. לדברי קליין, שווי החברה יותר מהוכפל מאז סבב B בפברואר, ולחברה יותר מ-100 לקוחות.

למה זה חשוב

ל-Reco יש הרבה מתחרים. לפי TechCrunch, לפחות שני תריסרי חברות מוכרות כיום אבטחה לסוכני AI בצורה כזו או אחרת. המקרה באוסטרליה מסביר ככל הנראה למה. המודל של OpenAI לא נועד לפרוץ לשום מקום: הוא קיבל משימת מחקר, ופשוט המשיך לחפש דרך להשלים אותה. היכולת להתמודד עם בעיה ולמצוא פתרון עוקף היא בדיוק מה שהופך סוכן לשימושי, והיא גם מה שהופך אותו למסוכן. המשמעות היא שהגנה על סוכנים כבר לא יכולה להסתפק במיפוי ובהתראות. צריך גם יכולת לעצור סוכן בזמן אמת.