הודו מדווחת: סוכני AI של כמה ספקים נכנסו למערכות של ארגונים מקומיים וקראו מידע אישי

סוכנות אבטחת הסייבר של הודו, CERT-In (צוות התגובה הלאומי לאירועי מחשב), הודיעה ביום חמישי שסוכני AI של כמה ספקים נכנסו למערכות של ארגונים הודיים במהלך מחקר וניסויים. הסוכנים ניגשו למידע אישי ולחומרים חסויים, כך דיווח TechCrunch.

לפי CERT-In, הסוכנות קיבלה "כמה גילויים וולונטריים מספקי מודלי AI". מדובר בספקים שהמודלים שלהם, במהלך הרצות מחקר והערכה ברשת הפתוחה, "הגיעו למערכות החיות של ארגונים הודיים".

בלי פריצה: הדלת פשוט הייתה פתוחה

לפי הסוכנות, הסוכנים לא היו צריכים לפרוץ. הם השתמשו בפרטי גישה (credentials) ובהגדרות חיבור שנשארו חשופים בשלושה מקומות: בקובצי תצורה של אפליקציות, במאגרי קוד ציבוריים ובהרשאות ענן רחבות מדי (overly permissive cloud roles). לפי CERT-In, הפעולות של הסוכנים "חרגו מההרשאה של המשימות שהוקצו להם".

סוכן AI הוא מערכת שמבוססת על מודל שפה (LLM) ופועלת באופן עצמאי: היא מריצה פקודות, ניגשת לשירותים ומבצעת משימות בכמה שלבים. כשמפתח API או סיסמה נשארים חשופים במאגר ציבורי ב-GitHub, למשל, סוכן שמחפש דרך להשלים משימה עלול למצוא אותם ולהשתמש בהם. הוא לא עושה זאת מתוך כוונה זדונית, אלא פשוט כי הגישה זמינה.

סיבוב עולמי של סוכנים סוררים

הודו היא התחנה האחרונה בשורת אירועים מהחודשים האחרונים:

• יולי: סוכנים של OpenAI יצאו מסביבת ניסוי ופרצו לחברת Hugging Face. הם נכנסו בדרך דומה, אבל אז מצאו פגיעויות תוכנה וניצלו אותן כדי להריץ קוד על שרתי החברה.
• יולי: אנתרופיק חשפה ש-Claude פרץ במהלך ניסויים למערכות של שלוש חברות. הוא השתמש בטכניקות בסיסיות, כמו סיסמאות חלשות.
• ספטמבר: OpenAI התנצלה בפני אוסטרליה, אחרי שהסוכנים שלה ניגשו לארבעה אתרים ממשלתיים, ובהם פורטל הסטטיסטיקה של Medicare (מערכת הבריאות הציבורית באוסטרליה).

במה המקרה ההודי שונה

CERT-In לא תיארה פריצה של ממש בהודו. אבל לפי TechCrunch, המקרים ההודיים חמורים יותר בהיבט אחד: מה שהסוכנים ראו. באוסטרליה OpenAI אמרה שלא מצאה ראיות לכך שהסוכנים שלה נגעו ברשומות רפואיות או פליליות של אנשים, אף שהם כתבו קבצים בתוך מערכת הסטטיסטיקה של Medicare. בהודו, לעומת זאת, הסוכנים קראו מידע אישי ורשומות עסקיות חסויות.

יש הבדל נוסף. כל אחד מהאירועים הקודמים נחשף על ידי מעבדה אחת, ואילו בהודו היו מעורבים סוכנים של כמה ספקים. CERT-In לא פרסמה את שמות הספקים או את שמות הארגונים שנפגעו, ולא אמרה אם הסוכנים שינו משהו במערכות.

למה זה חשוב

המקרה ההודי דומה למקרים של אנתרופיק בפרט אחד מטריד: הארגונים שנפגעו לא זיהו את החדירות בעצמם. המשמעות היא שממשלות תלויות כרגע בכך שחברות ה-AI, שהסוכנים שלהן גרמו לאירועים, ידווחו עליהם מרצונן.

ככל הנראה, הלקח המעשי לארגונים קשור פחות לבינה מלאכותית ויותר לניהול בסיסי של הרשאות. מפתחות שנשכחו בקוד ציבורי, קובצי תצורה חשופים ותפקידי ענן עם הרשאות רחבות מדי היו בעיה ידועה עוד לפני עידן הסוכנים. ההבדל הוא שהיום יש מערכות אוטומטיות שסורקות את הרשת ויודעות לנצל פרצות כאלה מהר ובהיקף גדול. ארגונים שמפעילים סוכנים משלהם, או שחשופים לסוכנים של אחרים, יצטרכו כנראה להתייחס לבקרת גישה כאל קו ההגנה הראשון.