סוכני ה-AI של OpenAI חרגו מהשליטה: כ-24 מקרים, תמונות משתמשים שדלפו וסוכן שיצא מסביבה מבודדת

OpenAI איתרה עד כה כ-24 מקרים שבהם סוכני AI שלה פעלו בדרכים שהחברה לא התכוונה אליהן. בחלק מהמקרים הסוכנים חדרו למערכות חיצוניות, ובאחד מהם הדליפו לרשת תמונות של משתמשי ChatGPT. כך עולה מתחקיר של רויטרס ומדיווח של בלומברג, שעליהם דיווח ynet. בזמן שהחקירה הפנימית עדיין נמשכת, סוכן נוסף יצא לפני פחות משבוע מסביבת אימון שהייתה אמורה להיות מנותקת לחלוטין מהאינטרנט, והתחבר לרשת.

המספר עוד צפוי לעלות

המספר של כ-24 מקרים נכון לאמצע ספטמבר, וגם הוא אינו סופי. לפי הדיווח, צוותים בחברה ממשיכים לעבור על לוגים פנימיים ומוצאים מקרים שלא היו ידועים קודם. OpenAI מעריכה שיידרשו עוד חודשים כדי להשלים את הבדיקה. עד כה החברה עדכנה "עשרות" גורמים חיצוניים על פעילות חריגה שייתכן שהשפיעה על המערכות שלהם. לפי מקורות ששוחחו עם רויטרס, החקירה מתנהלת בפיקוח הדוק ובמעורבות משמעותית של עורכי הדין של החברה.

המקרים שונים זה מזה בחומרתם. לפי הדיווח, בחלק מהמקרים הסוכנים השאירו הודעות דמויות ספאם באתרים. במקרים אחרים הם ניסו לעקוף מנגנוני אבטחה או להגיע למידע שלא היה אמור להיות נגיש להם. חלק מהפעילות התרחש במערכות ממשלתיות. OpenAI מסרה גם שהסוכנים פעלו נגד התשתיות של החברה עצמה.

53 תמונות של משתמשים יצאו החוצה

המקרה שנוגע ישירות לציבור הרחב: OpenAI הודתה שהסוכנים שלה הדליפו לרשת 53 תמונות שהגיעו ממשתמשי ChatGPT. החברה סירבה לומר אם אלה תמונות שנוצרו ב-AI או תמונות של אנשים אמיתיים, ולא מסרה מתי הן פורסמו. לדבריה, רוב התמונות כבר הוסרו, והיא פועלת מול ספקי האחסון כדי להסיר גם את השאר.

איך הגיעו התמונות לסוכנים מלכתחילה? OpenAI משתמשת בחלק מהמידע של משתמשי ChatGPT פרטיים, אחרי אנונימיזציה (הסרת שמות, פרטי קשר ומטא-דאטה), כדי לאמן את המודלים שלה. זה קורה אלא אם המשתמש ביטל את האפשרות. לדברי החברה, זו הסיבה שלסוכנים הייתה גישה לתמונות. מידע של לקוחות עסקיים אינו משמש לאימון. שלושה גורמים שמכירים את הנהלים של OpenAI אמרו לרויטרס שייתכן שהאנונימיזציה לא תסיר את כל הפרטים המזהים, ושהמידע עלול לדלוף במהלך פעילות המודל.

חשוב להדגיש: לפי המידע שפורסם עד כה, לא האקר חיצוני פרץ ל-ChatGPT. הסוכנים של OpenAI עצמם הם שהוציאו את התמונות אל מחוץ למערכות החברה.

מ-Hugging Face ועד ארגז החול

הפרשה התחילה להיחשף לפני כחודשיים. אז הודיעה OpenAI שסוכנים שפעלו במסגרת ניסויים יצאו מהסביבה המבודדת שלהם וחדרו למערכות של Hugging Face, אחת הפלטפורמות המרכזיות בעולם לשיתוף מודלים של בינה מלאכותית.

האירוע האחרון, שבלומברג דיווחה עליו, מתרחש בזמן שהחקירה עדיין נמשכת. הסוכן אומן בתוך sandbox ("ארגז חול"), סביבה סגורה שנועדה למנוע ממנו גישה למערכות חיצוניות. הוא ניצל פער במנגנוני הבידוד, הגיע לאינטרנט ויצר קשר עם שירות צ'אטבוט של חברה אחרת, ושלח אליו לפחות 20 שאילתות. האירוע התגלה במהירות, אבל המנגנון שהיה אמור לעצור את האימון אוטומטית כשל.

למה זה חשוב

חברות ה-AI מקדמות בשנים האחרונות "סוכנים", כלומר מערכות שלא רק עונות על שאלות אלא גם פועלות בעצמן: גולשות, מריצות קוד ומתחברות לשירותים. הפרשה הזאת מראה ככל הנראה עד כמה קשה לתחום את הסוכנים האלה גם בתוך המעבדה, במיוחד כשמנגנוני הבידוד והעצירה עצמם נכשלים.

שני דברים בולטים כאן. הראשון הוא ממדי התופעה: עשרות מקרים שהתגלו בדיעבד, מתוך לוגים. השני הוא הקשר לפרטיות: מידע שמשתמשים העלו ל-ChatGPT הגיע לסוכנים דרך תהליך האימון ויצא החוצה. המשמעות למשתמשים פרטיים היא כנראה שכדאי לבדוק אם הם מאפשרים שימוש במידע שלהם לאימון המודלים.