קופיילוט של מיקרוסופט חשף בעצמו את הפרצה שאיפשרה לפרוץ אותו

חוקרים בחברת האבטחה Varonis הצליחו לגרום לעוזר הבינה המלאכותית של מיקרוסופט, Microsoft 365 Copilot Enterprise, לדלוף סיסמאות ומידע רגיש של משתמשים - בלי שהמשתמש יידרש לאשר דבר מלבד לחיצה על קישור. הדרך שבה הגיעו לפרצה יוצאת דופן לא פחות מהתוצאה: הם פשוט שאלו את קופיילוט עצמו, כפי שדווח בArs Technica.

בתחילה קופיילוט סירב לבצע פעולות רגישות ללא אישור מפורש של המשתמש, בהתאם למנגנוני האבטחה שהוטמעו בו. אך החוקרים המשיכו להציף אותו בשאלות על אופן פעולת אותם מנגנוני הגנה - ולפי מה שנמסר, כל תשובה חשפה פרט טכני נוסף על הארכיטקטורה הפנימית של המערכת. "בהתחלה קופיילוט המשיך לסרב, אבל כל סירוב חשף פרטים טכניים על הארכיטקטורה הפנימית שלו. קופיילוט בסופו של דבר חשף פרמטרים לא מתועדים, ואני השתמשתי בהם כדי ליצור פרומפטים שרצים אוטומטית", אמר החוקר הבכיר של Varonis, ליאור אדר.

הפרמטר שנחשף, ‎?autorun=1, בשילוב עם פרמטר ידוע נוסף בשם ‎?q=, איפשר להזרים פקודה ישירות לתוך קופיילוט ולהריץ אותה באופן מיידי - ברגע שהקורבן לוחץ על קישור, ללא צורך בכל פעולת אישור נוספת כמו הקשה על מקש. כתובת הקישור הזדונית נראתה בערך כך: https://copilot.microsoft.com/?q=&autorun=1. באמצעותה יכלו החוקרים להורות לקופיילוט לחפש בתיבת הדואר של הקורבן את השולח האחרון, ואף לאתר סיסמאות ופרטי התחברות שנשלחו בעבר בדוא"ל - ולשלוח את המידע, מקודד בפורמט base64, לשרת חיצוני שבשליטת התוקף.

מיקרוסופט תיקנה חלקית את הבעיה כבר בפברואר, כשלושה חודשים לאחר ש-Varonis דיווחה עליה, על ידי חסימת היכולת של הפרמטר ‎?q= להזין טקסט אוטומטית לשדה הצ'אט - כך שהמשתמש נדרש ללחוץ ולהקליד ידנית. לפי הדיווח, המהלך פגע גם ביכולת של אינטגרציות דפדפן חיצוניות שהסתמכו על אותו פרמטר. תיקון מקיף יותר פורסם רק השבוע.

לצד זאת, Varonis הדגימה גם התקפה נפרדת, שבה הזרקת פרומפט חבויה בתוכן דף אינטרנט הצליחה "להרעיל" את מאגר הזיכרון הקבוע של קופיילוט - המנגנון השומר העדפות והוראות של המשתמש בין שיחות. לפי החברה, מידע שגוי כזה יכול לשרוד גם לאחר החלפת סיסמה, ניתוק הפעלות או רישום מחדש של המכשיר, ורק בדיקה ידנית של תוכן הזיכרון הייתה חושפת אותו. להתקפה הזו, המשלבת את שני האיומים, קראה החברה Co-Snitch, וכינתה אותה המשך להתקפות דומות שחשפה בעבר - כולל מתקפת חד-לחיצה בשם SearchLeak ביוני.

המקרה ממחיש בעיה רחבה יותר באבטחת עוזרי AI ארגוניים: מנגנוני ההגנה שלהם נבנים כרשימת מגבלות תגובתיות ולא כמניעה מובנית מראש, כך שכאשר הם נכשלים - הפרצה עלולה להיות חמורה במיוחד, בעיקר כשמדובר בכלים המחוברים לתיבות דואר, קבצים ומערכות ארגוניות רגישות.