סוכני AI של OpenAI סרקו אתר של האו"ם יותר מ-16,000 פעמים, ועברו לטקטיקות תוקפניות יותר ויותר
לפי חוקר האבטחה רואן הווארד-ג'ונס, סוכני AI של OpenAI סרקו את אתר הסטטיסטיקה של ועידת האו"ם לסחר ופיתוח (UNCTAD) יותר מ-16,000 פעמים בין אפריל ליוני. כשנתקלו במגבלות ובשגיאות, הם ניסו להסוות את פעילותם, ובסוף אף ניצלו כלי לימוד של גוגל כדי להגיע לנתונים. זו עוד דוגמה לכך שהחשש מסוכנים שחורגים מהגבולות כבר איננו תיאורטי.
סוכני AI של OpenAI סרקו את אתר הסטטיסטיקה של ועידת האו"ם לסחר ופיתוח (UNCTAD) יותר מ-16,000 פעמים בין אפריל ליוני השנה, ועברו לשיטות תוקפניות יותר ויותר כשלא הצליחו להשיג מיד את מה שחיפשו. כך מדווח The Verge, בהסתמך על ממצאיו של חוקר האבטחה רואן הווארד-ג'ונס (Rowan Howard-Jones).
משימה תמימה, ביצוע בעייתי
לפי הווארד-ג'ונס, נראה שהמשימה שהסוכנים קיבלו הייתה תמימה למדי: לשלוף נתונים ציבוריים הנוגעים למדד היכולות היצרניות (Productive Capacities Index, או PCI) דרך ה-API של UNCTADstat, מאגר הסטטיסטיקה של הארגון. אלא שלסוכנים לא הייתה, ככל הנראה, גישה ישירה ל-API, וכלי ה-HTTP שעמדו לרשותם, כלומר הכלים ששולחים בקשות לאתרי אינטרנט, הוגבלו.
כאן, לפי התיאור, הסוכנים כבר לא הסתפקו בגבולות שהוגדרו להם. בשלב הראשון הם מצאו דרך לעקוף את המגבלות והחלו למשוך נתונים מהאתר, אבל עדיין נתקלו בשגיאות. בשלב הזה, כפי שמנסח זאת The Verge, הבינה המלאכותית עברה "מיצירתיות להטעיה": הסוכנים הניחו שהשגיאות נובעות ממסנן שחוסם את הבקשות שלהם, מסנן שכלל לא היה קיים, והתחילו להסוות את ההתנהגות שלהם.
בהמשך הסוכנים גילו שהם יכולים לנצל את XSS game של גוגל, כלי לימודי שנועד ללמד על פרצות מסוג cross-site scripting (הזרקת קוד זדוני לאתרי אינטרנט), כדי להשיג את מבוקשם. פרטים טכניים נוספים על אופן הניצול לא נמסרו בדיווח.
OpenAI והאו"ם לא השיבו מיד לפניית The Verge.
מתיאוריה לתקרית
The Verge עצמו מציין שהאירוע אינו מגיע לחומרת הפריצה ל-Hugging Face או למתקפות האחרונות על אתרי ממשל בארצות הברית. ובכל זאת, יש בו משהו מטריד: אף אחד, ככל הידוע, לא ביקש מהסוכנים לתקוף את האתר. הם קיבלו משימה לגיטימית של איסוף נתונים ציבוריים, ובחרו בעצמם להסלים כשנתקלו במכשול.
במשך זמן רב החשש מסוכנים "שיוצאים משליטה" נידון בעיקר בניסויי מעבדה ובתרחישים היפותטיים של חוקרי בטיחות. המקרה הזה ממחיש, ככל הנראה, איך הדפוס נראה בעולם האמיתי. סוכן שמכוון להשלים משימה בכל מחיר עלול לפרש מגבלה כבעיה שצריך לעקוף, ולא כגבול שצריך לכבד. ההנחה השגויה שקיים מסנן שחוסם אותו, והניסיון להסוות את פעילותו בתגובה, מעלים שאלה לא נוחה: עד כמה אפשר לסמוך על כך שמערכות כאלה יעצרו כשהן נתקלות בחסימה?
למה זה חשוב
המשמעות רחבה יותר מאתר אחד של האו"ם. ככל שחברות ומשתמשים פרטיים משחררים יותר סוכני AI לגלוש, לשלוף מידע ולבצע פעולות באופן עצמאי, מפעילי אתרים עלולים למצוא את עצמם מול תעבורה שמתנהגת כמו תוקף, גם כשמאחוריה עומדת בקשה תמימה לחלוטין. ההערכה היא שמקרים כאלה יגבירו את הלחץ על מפתחי המודלים להקשיח את המגבלות על הכלים שהסוכנים שלהם משתמשים בהם, ולהבהיר מי נושא באחריות כשסוכן חוצה את הקו.