חוקרים: את מנגנוני הבטיחות של מודלי ה-AI החדשים של OpenAI וגוגל קל לעקוף כדי לייצר תמונות עירום

קבוצת חוקרים טוענת שמודלי ה-AI החדשים ש-OpenAI וגוגל מקדמות בימים אלה מרומים בקלות ומייצרים תמונות עירום, למרות ההגנות שהחברות הטמיעו בהם כדי למנוע בדיוק את זה. לפי הדיווח ב-Ars Technica, שיטת התקיפה שפיתחו החוקרים חושפת פרצות במנגנונים שאמורים לחסום יצירה של תמונות עירום באמצעות AI.

מה נבדק

החוקרים בחנו את מנגנוני הבטיחות (safeguards) של מודלים חדשים משתי החברות, ולפי הדיווח הצליחו לגרום להם לייצר תוכן שהם אמורים לסרב לייצר. פרטים טכניים מלאים על השיטה, על המודלים שנבדקו ועל שיעורי ההצלחה לא הופיעו בחומרים שעמדו לרשותנו, ולכן לא נפרט אותם כאן.

לקורא שאינו טכני כדאי להבין איך ההגנות האלה עובדות בדרך כלל. מודלים שמייצרים תמונות מגיעים עם שכבות סינון: חלקן בודקות את הבקשה שהמשתמש מקליד, חלקן בודקות את התמונה שנוצרה וחלקן מוטמעות באימון המודל עצמו. תקיפות מהסוג הזה, שמכונות לעיתים קרובות jailbreak, מחפשות ניסוח או רצף פעולות שהמסננים לא מזהים כבעייתיים, אף שהתוצאה הסופית אסורה. הקביעה של החוקרים שאת המודלים "קל לרמות" מרמזת ככל הנראה שלא נדרש לשם כך ידע טכני מתקדם.

תגובת החברות

בחומרים שעמדו לרשותנו לא הופיעה תגובה מפורטת של OpenAI או של גוגל לממצאים. לכן אין בידינו מידע על כך שהחברות אישרו את הפרצות, תיקנו אותן או חלקו על מסקנות החוקרים.

למה זה חשוב

תמונות עירום שנוצרות ב-AI הן כבר כמה שנים אחת הבעיות הבולטות בתחום. הנזק העיקרי נגרם כשהן מציגות אנשים אמיתיים בלי הסכמתם. ספקי המודלים הגדולים מציגים את מנגנוני הבטיחות שלהם כקו ההגנה העיקרי מפני שימוש כזה. אם החוקרים צודקים, המשמעות היא שקו ההגנה הזה חלש יותר ממה שהחברות מציגות.

העיתוי מוסיף לכך משקל. לפי הדיווח, OpenAI וגוגל "דוחפות" את המודלים האלה, כלומר מדובר בכלים שמגיעים או עומדים להגיע לקהל רחב. ככל שיותר אנשים יקבלו גישה לכלים כאלה, כך יגדל ככל הנראה מספר המשתמשים שינסו לעקוף את ההגנות. במצב כזה, פער בין ההבטחות של החברות לבין מה שהמודלים עושים בפועל עלול להפוך במהירות מבעיה מחקרית לבעיה חברתית.

מקרים כאלה גם ממחישים מגמה רחבה יותר: מנגנוני בטיחות במודלים גנרטיביים נבחנים יותר ויותר על ידי חוקרים חיצוניים, ולא רק בבדיקות פנימיות של החברות. עם זאת, השאלה החשובה היא מה יקרה מכאן והלאה, כלומר אם ואיך OpenAI וגוגל יגיבו לממצאים ויחזקו את ההגנות.