סימן המים של OpenAI לטקסט נחלש אחרי עריכה, ולא ברור אם יעמוד בחוק האירופי

סימן המים החדש של OpenAI לטקסט שנוצר בבינה מלאכותית מתקשה לשרוד עריכה ומאבד מדיוקו בקטעים קצרים, כך עולה מנתונים שמביא IEEE Spectrum. הכלי, textGrain, שוחרר באוקטובר ופותח כדי לעמוד בחוק הבינה המלאכותית של האיחוד האירופי. אלא שהחוק אינו קובע רף ברור לרמת הביצועים הנדרשת, ולכן לא ברור אם הכלי יעמוד בכללי השקיפות. לפי הכתבה, כישלון בכך עלול לעלות לחברה ביוקר.

איך זה עובד

מודל שפה כותב טקסט יחידה אחר יחידה: הוא מחשב את ההסתברות של כל טוקן אפשרי (מילה או חלק ממילה), בוחר אחד וממשיך הלאה. סימן המים מתערב בשלב הזה. מפתח סודי מייצר ערכים פסבדו-אקראיים שמשפיעים על הבחירה, וכך נוצר בטקסט דפוס סטטיסטי שגלאי המחזיק באותו מפתח יכול לאתר. הקורא עצמו לא רואה דבר.

החידוש ב-textGrain, לדברי שיאנג לי, חוקר בתר-דוקטורט באוניברסיטת פנסילבניה וממחברי הדוח הטכני, הוא היחס לאנטרופיה, מדד לחוסר הצפיות בבחירות המילים של המודל, כמשאב שאפשר לתקצב. המפתחים מגדירים יעד, והכלי מסתגל אליו. כך הם יכולים לאזן בין אות שקל לזהות לבין שמירה על גיוון בטקסט. "אפשר לחשוב על אנטרופיה כעל משאב, סוג של כסף", אמר לי.

מה הנתונים מראים

שיעור הזיהוי תלוי מאוד באורך הטקסט. בבדיקות על שאלות פסיכולוגיה ממאגר ELI5, סימן המים זוהה בכ-80% מהטקסטים באורך 200 טוקנים (כ-150 מילים), לעומת 95% מהטקסטים באורך 400 טוקנים (כ-300 מילים). לי מכנה זאת "מגבלה בסיסית" של הטכנולוגיה: בקטע קצר ייתכן שאין מספיק ראיות לזיהוי אמין.

גם עריכה פוגעת באות. לפי OpenAI, בקטעים של 400 טוקנים, החלפת 10% מהמילים במילים נרדפות הורידה את שיעור הזיהוי מ-92% ל-66%. החלפה של עד 25% מהמילים הורידה אותו ל-17%. הסיבה היא שהסימן תלוי בטוקנים שקדמו לכל מילה, ולכן שינוי של מילה אחת עלול לשבש את האות בכמה מקומות.

שיעור הזיהוי השגוי של הגלאי עומד על 1%, כלומר הוא מתוכנן לסמן בטעות בערך קטע אחד מכל 100 קטעים ללא סימן מים. וגם תוצאה נכונה אומרת מעט: זיהוי חיובי לא מלמד כמה תרם אדם לטקסט, ותוצאה שלילית לא מוכיחה שאדם כתב אותו.

OpenAI עצמה אומרת שסימן מים לבדו אינו מספיק כדי לקבוע אם תוכן נוצר בבינה מלאכותית, וש-textGrain "ישלים" כלים אחרים, כמו content credentials במטא-דאטה וסימני SynthID של גוגל דיפמיינד לתמונות ולאודיו. החברה לא הגיבה לפניית IEEE Spectrum.

מה דורש החוק

חובות השקיפות בסעיף 50 לחוק נכנסו לתוקף ב-2 באוגוסט. ספקי מערכות שמייצרות אודיו, תמונות, וידאו או טקסט סינתטיים נדרשים לסמן את התוצרים בפורמט קריא למכונה, בפתרונות "יעילים, בעלי יכולת פעולה הדדית, חסינים ואמינים, ככל שהדבר אפשרי מבחינה טכנית". קוד נוהג וולונטרי של האיחוד מציע לספקים דרך להראות עמידה בדרישות, והוא אינו מחייב סימון של תוצרים קצרים מ-200 טוקנים.

המשמעות היא ככל הנראה שהחולשה בטקסטים קצרים מטרידה פחות מבחינה משפטית, לפחות למי שפועל לפי הקוד. החולשה מול עריכה נראית בעיה קשה יותר, שכן טקסט שנוצר במודל נערך לעתים קרובות לפני פרסומו.

תומאס סוברן, עמית בתר-דוקטורט לאתיקה של בינה מלאכותית בפריז, אומר שהחקיקה פתוחה לפרשנות. לדבריו, המתודולוגיה המוקדמת של textGrain נראית אמינה ועשויה לזהות טקסט מבינה מלאכותית טוב יותר מהמתחרים. OpenAI טוענת שהכלי השתווה ל-SynthID Text של גוגל או עלה עליו, אך בבדיקות שלה עצמה, ותוצאות אלה לא אומתו באופן עצמאי.

למה זה חשוב

החוק האירופי הופך שאלה טכנית לשאלה של ציות, אך ההסתייגות "ככל שהדבר אפשרי מבחינה טכנית" משאירה פתוח מה ייחשב מספיק טוב. בינתיים, המסקנה המעשית לקורא, למורה או לעורך היא ככל הנראה שגלאי כזה יכול לספק רמז, אך לא הוכחה.