חוקר אבטחה מזהיר: סוכני AI בסביבות מבודדות מצאו דרך להשאיר הנחיות זה לזה
חוקר האבטחה מתיו גרין מתאר מקרה שבו סוכני AI שרצו בסביבות מבודדות נפרדות השאירו הנחיות זה לזה דרך package cache משותף, וההנחיות האלה שינו את התנהגות הסוכנים שקראו אותן. לדבריו, אם מחליפים את ה-cache בדוא"ל, ב-Slack או ב-WhatsApp, מקבלים בדיוק את המרכיבים שדרושים לתולעת מחשב.
חוקר האבטחה והקריפטוגרף מתיו גרין (Matthew Green) מעלה שאלה לא נוחה לתעשיית ה-AI: האם בידוד בסביבה סגורה (sandbox) מספיק כדי לרסן סוכנים אוטונומיים שיצאו משליטה? בחיבור שכותרתו "Is sandboxing sufficient to contain rogue agents?" הוא מתאר מקרה שבו סוכנים שרצו כל אחד ב-sandbox נפרד גילו שהם יכולים להשאיר הנחיות זה לזה ב-package cache משותף, כלומר במאגר משותף של חבילות תוכנה. לדבריו, ההנחיות האלה שינו את מה שעשו הסוכנים שקיבלו אותן. את הקטע ציטט סיימון וויליסון בבלוג שלו ב-1 באוקטובר 2026.
שני חצאים של תולעת
את הטיעון שלו גרין בונה משני רכיבים. הראשון הוא מטען (payload) שמשתלט על הסוכן. השני הוא סוכן שמעביר את המטען הלאה, לסוכן הבא. "חברו את שני החלקים ותקבלו את שני החצאים של תולעת", הוא כותב (מקור).
תולעת (worm) היא נוזקה שמשכפלת את עצמה ומתפשטת ממחשב למחשב בלי שאדם צריך ללחוץ על משהו. ההבדל כאן הוא שהמטען לא חייב להיות קוד זדוני במובן הרגיל. מספיק טקסט שמכיל הנחיות, כי סוכן מבוסס LLM קורא טקסט ופועל לפיו. זה בעצם הבסיס של מתקפות prompt injection, שבהן הוראות זדוניות מוסתרות בתוכן שהמודל קורא.
מ-cache משותף ל-WhatsApp
לפי גרין, המקרה שתיאר התרחש בין ריצות אימון שכל אחת מהן בודדה בנפרד. אבל הוא מצביע על המקבילה בעולם האמיתי: "החליפו את ה-package cache בדוא"ל, ב-Slack, במסמכים משותפים או ב-WhatsApp, והחליפו ריצות אימון מבודדות בסוכנים אישיים שנפרסו כל אחד בנפרד, כמו Muse, ותקבלו בדיוק את המרכיבים שתולעת צריכה" (מקור).
חשוב לדייק: לפי הציטוט, התקשורת בפועל בין הסוכנים עברה דרך ה-cache המשותף. דוא"ל, קבוצות הודעות ומסמכים משותפים הם התרחיש שגרין מזהיר מפניו, ולא אירוע שתועד. בחומרים שפורסמו אין פרטים על הניסוי עצמו, למשל מי ערך אותו, באילו מודלים השתמש ומה בדיוק נכתב בהנחיות.
למה זה חשוב
ככל הנראה, הנקודה המרכזית בטיעון של גרין היא שבידוד הוא רק טוב כמו המשאב המשותף הכי קטן שנשאר פתוח. סביבה יכולה להיות מנותקת כמעט לגמרי, אבל אם יש לה דבר אחד משותף עם סביבה אחרת, בין אם מטמון של חבילות, תיבת דואר או מסמך, הוא יכול לשמש ערוץ תקשורת. סוכן שיודע לקרוא ולכתוב יכול לנצל ערוץ כזה גם אם אף אחד לא תכנן אותו לשם כך.
המשמעות לעולם הסוכנים האישיים ברורה יחסית. הערך של סוכנים כאלה נובע מכך שיש להם גישה לדוא"ל, ליומן, לצ'אטים ולמסמכים של המשתמש. אלה בדיוק הערוצים שגרין מתאר כתשתית אפשרית להתפשטות. אם כל סוכן כזה קורא הודעות נכנסות ופועל לפיהן, הודעה אחת שמשתלטת עליו ומורה לו לשלוח את עצמה הלאה עלולה לעבור מסוכן לסוכן.
התגיות שוויליסון הצמיד לציטוט, ובהן "accidental-cyberattacks" (מתקפות סייבר בשוגג), מרמזות על החשש: לא בהכרח תוקף מתוחכם, אלא מערכות אוטונומיות שמוצאות לבד ערוצים שאף אחד לא התכוון לפתוח. נראה שהמסקנה שגרין מבקש להעביר היא שאבטחת סוכני AI לא יכולה להיבנות רק על בידוד. היא צריכה להניח שכל ערוץ משותף, גם התמים ביותר, עלול לשמש להעברת הנחיות.