חקירת WIRED: יותר מ-400 אפליקציות ואתרים "תמימים" מסתירים כלי ליצירת דיפ-פייק מיני
חקירה של WIRED חשפה רשת של יותר מ-400 אפליקציות ודומיינים מקושרים. הם מוצגים ככלי AI רגילים, כמו מחולל דיוקנאות לחיות מחמד או מאמן כושר, אבל בתנאים מסוימים נטען בהם ממשק נסתר ליצירת תמונות וסרטונים מיניים פוגעניים. לפי החקירה, את הרשת מפעילים ככל הנראה מפתחים סינים וחברה רשומה בהונג קונג, והאפליקציות הגיעו לחנויות של אפל וגוגל ופורסמו בפייסבוק ובאינסטגרם.
במבט ראשון Viefur נראית כמו עוד אפליקציה שמייצרת תמונות AI משעשעות: מעלים תמונה של חיית מחמד ומקבלים "דיוקן מואנש" שלה, למשל אוגר במכנסי חוף שמשתזף בבריכה. בתוך האפליקציה נמכרים מטבעות דיגיטליים, וכ-4 דולרים קונים 130 מהם. אבל לפי חקירה של WIRED, כל זה משמש כיסוי. המטרה האמיתית של האפליקציה, כך נראה, היא יצירת תמונות דיפ-פייק מיניות ופוגעניות.
רשת של מאות אפליקציות
לפי החקירה, Viefur היא חלק מרשת של יותר מ-400 דומיינים ואפליקציות שקשורים זה לזה. רבים מהם מוצגים כשירותים יומיומיים, כמו לימוד שפות או מאמן כושר מבוסס AI. בתנאים מסוימים האפליקציות טוענות בשקט ממשק web שמאפשר ליצור תמונות וסרטונים מיניים מפורשים מתמונות שהמשתמשים מעלים. בין התבניות שנמצאו יש תרחישים אלימים, כמו "אונס בחדר שינה" וסצנה שבה גבר מצמיד סכין לצוואר של אישה.
כמה חוקרים גילו את הרשת כשעקבו אחרי הקישורים באלפי מודעות וידאו עם תוכן דיפ-פייק מפורש שפורסמו בפייסבוק ובאינסטגרם של מטא. לפי WIRED, מאות מהמודעות האלה הכילו חומרי התעללות מינית בילדים שנוצרו ב-AI, כולל דמויות של ילדים אמיתיים ושל אחד מבני משפחת מלוכה אירופית. המודעות הגיעו לעשרות אלפי אנשים, ורגולטורים במדינות שונות פתחו בעקבותיהן בחקירות.
המודעות הובילו לאפליקציות בחנויות של אפל וגוגל, ושם אפשר היה לשלם באמצעות Apple Pay ו-Google Pay. לפי החקירה, הרשת מפרסמת אפליקציות כאלה כבר כשנה, ולפעמים עשרות בשבוע. כל זה קורה למרות שאפל, גוגל ומטא אומרות שהן אוכפות את המדיניות שלהן נגד תוכן דיפ-פייק מזיק.
איך זה עובד
פול בושו (Paul Bouchaud), חוקר בכיר בארגון ללא מטרות רווח AI Forensics, ביצע reverse engineering (פירוק לאחור של הקוד) לאפליקציות ולאתרים. לפי הממצאים, בכל הורדה האפליקציה שולחת לשרת מידע כמו מקור ההגעה של המשתמש, השפה ומזהה ייחודי. השרת משיב אם להציג את הגרסה התמימה או את הגרסה המפורשת. אין רשימה ברורה של הקריטריונים, אבל נראה שאחד הטריגרים הוא הורדה אחרי לחיצה על מודעה בפלטפורמות של מטא.
השיטה הזו, שמכונה cloaking, מסבירה ככל הנראה איך האפליקציות עוברות את בדיקת החנויות: מי שבודק את האפליקציה רואה רק את הגרסה הלגיטימית.
האתרים שקשורים לאפליקציות נראים במבט ראשון ריקים, מסך שחור בלבד. השינוי היחיד שאפשר להבחין בו הוא שכתובת ה-URL מתעדכנת ומופיעה בה המילה "risk". מאחורי המסך הזה נמצא הממשק הנסתר, עם עשרות תבניות של תמונות וסרטונים פורנוגרפיים ואפשרות לקנות "יהלומים" כדי לייצר תוכן. חבילת JavaScript באתרים, שלדברי החוקרים קל לפענח, מכילה רשימה של כל הדומיינים והאפליקציות ברשת, כולל פרטי חבילות, מפתחות הצפנה ו-trackers של פרסום בפייסבוק.
מי עומד מאחורי הרשת
לפי בדיקה של הדומיינים ושל אופן הפעולה של השירותים, נראה שאת הרשת מפעילים מפתחים סינים וחברה רשומה בהונג קונג בשם KeLing Technology Limited. כתובות דוא"ל שקשורות לחברה ולאפליקציות לא ענו לפניות חוזרות של WIRED. אחרי הפניות נראה שהקשרים הציבוריים בין החברה לכלי הדיפ-פייק נמחקו.
"זה מבצע מאורגן שמופעל באופן מסחרי: מפעיל אחד מאחורי מאות אפליקציות ודומיינים חד-פעמיים, שמוסווים כדי לעבור את בדיקת ה-App Store ומקודמים בעשרות אלפי מודעות של מטא תחת שמות משלמים מזויפים", לדברי בושו. "הם לא מצפים שהאכיפה תדביק את הקצב, ועד עכשיו היא לא הדביקה".
למה זה חשוב
הממצאים מעידים ככל הנראה על פער בין מה שפלטפורמות הענק מצהירות לבין מה שהן מצליחות לאכוף בפועל. כשאפליקציה מציגה פנים שונות לבודק ולמשתמש, בדיקה מקדימה בחנות לא מספיקה. מטא, אפל וגוגל היו כל אחת חוליה בשרשרת, מהמודעה ועד התשלום. לכן קשה להעריך ששלושתן לא ראו את הדפוס, והמשמעות היא שהשאלה מי אחראי לעצור אותו נשארת פתוחה.