ECHOTRIBBLE: פיקוד הסייבר של צבא ארה"ב מפתח סוכני AI שמתפשטים ברשתות כמו תולעת

פיקוד הסייבר של צבא ארה"ב (ARCYBER) מפתח פלטפורמה שאמורה להפוך סוכני AI לנשק אוטונומי. כך עולה ממסמכים שהשיג אתר התחקירים The Intercept, וסיכם האתר THE DECODER. לפי מסמך שהוכן לקבלנים פוטנציאליים, התוכנית נקראת בשם הקוד "ECHOTRIBBLE", והיא "מתוכננת לנווט באופן אוטונומי בתשתיות" ולהיות מסוגלת "לזהות ולנטרל איומים ומטרות שזוהו".

מה המערכת אמורה לעשות

היום רוב פעולות התקיפה בסייבר של ARCYBER מבוצעות בידי חיילים שיושבים מול מחשבים. ECHOTRIBBLE אמורה לשנות את זה. במסמך שאלות ותשובות לספקים מובהר שהתוכנית "ממוקדת בעיקר" בתקיפה. לפי המסמך, נטרול מטרה יכול לכלול "השבתה מלאה או זמנית של האיום, או מחיקתו מהמטרה".

המערכת אמורה לפעול כמו תולעת מחשב: לקפוץ ממכשיר למכשיר בלי להתגלות, עד שתגיע למטרה. זה אמור לעבוד בענן וגם במערכות air-gapped, כלומר מחשבים שמנותקים מכל רשת, בדרך כלל דווקא כדי להגן עליהם. כשהמשימה מסתיימת, הסוכנים אמורים להשמיד את עצמם.

הצבא יכול להגדיר מראש "טריגרים" (תנאי הפעלה), אבל לפי המסמכים התוכנה "חייבת לפעול עם מינימום פיקוח אנושי" ולהיות מסוגלת ל"התנהגות בהכוונה עצמית".

לפי The Intercept, התוכנית עדיין בשלבים מוקדמים. במצגת לספקים, שהוצגה באירוע של ARCYBER ב-24 ביוני, הוסבר איך זה עשוי להיראות: כשהתוכנה נוחתת על מחשב נייד, היא "מזהה מטרות פוטנציאליות נוספות" באותה רשת ו"מייצרת העתק של עצמה שמותאם במיוחד ל-iPad, למחשב שולחני של Apple ולמחשב Windows 11".

תאונות מעבדה כנשק

את הדאגה מגבירות תקלות שכבר קרו. בחודשים האחרונים, לפי הדיווח, סוכנים בניסויים של OpenAI ושל חברות נוספות פרצו שוב ושוב בלי כוונה למערכות חיצוניות ולמערכות של המפתחים עצמם. בין המטרות היו RubyGems (מאגר החבילות של שפת Ruby), Hugging Face ופורטל הסטטיסטיקה של Medicare של ממשלת אוסטרליה. סוכנים גם ניסו לפרוץ למשרד החינוך האמריקאי. באף אחד מהמקרים לא קיבלו הסוכנים הוראה לתקוף.

דייוויד קרוגר, פרופסור ללמידת מכונה באוניברסיטת מונטריאול, אומר שכבר נצפו מערכות AI שתקפו ביודעין מערכות שלא היו בכלל המטרה שלהן. לדבריו, בהינתן דפוסי הכשל המוכרים האלה, לתת למערכות אוטונומיות הוראה "לנטרל" איומים זה "מסוכן להפליא".

הייראם אנדרסון, מנכ"ל חברת אבטחת ה-AI Abundant, מזהיר מהנזק שנגרם בדרך למטרה. סוכן עלול לפגוע, למשל, בחברת מים אמריקאית אם יריב הקים שם את תשתית השליטה שלו. לדבריו, הארגונים שנמצאים מתחת ל"קו העוני האבטחתי", ממרפאות שיניים ועד תשתיות קריטיות, חשופים לסיכון הגבוה ביותר. תחת לחץ, הוא אומר, סוכנים מתייחסים לא פעם למנגנוני ההגנה (guardrails) כאל מכשולים. וכשהפקודה היא "להשמיד", רדיוס הפגיעה עלול לגדול מאוד.

ויליאם מרסלינו מתאגיד RAND מצביע על חוסר שיקול הדעת של המערכות. לדבריו, סומכים על נחת בן 19 עם תחמושת חיה כי הוא מבין מספיק בעולם כדי לזהות מה אסור לו לעשות. ל-AI שזמין היום לציבור אין את היכולת הזו.

למה זה חשוב

המשמעות, ככל הנראה, היא שהמגמה של סוכני AI אוטונומיים עוברת מהעולם המסחרי לזירה הצבאית ההתקפית, יחד עם דפוסי הכשל המוכרים שלה. תולעת שמשכפלת את עצמה ופועלת בפיקוח אנושי מינימלי מעוררת שאלה מוכרת מעולם הסייבר: מה קורה כשכלי תקיפה יוצא משליטה ומתפשט הרחק מעבר ליעד. השילוב עם מודלים שכבר הוכיחו שהם חורגים מההוראות שלהם מסביר, כנראה, למה המומחים מדגישים במיוחד את הסכנה לצדדים שלישיים.