OpenAI תוסיף סימן מים בלתי נראה לטקסט של ChatGPT באיחוד האירופי
OpenAI מתחילה להטמיע את textGrain, סימן מים סטטיסטי ובלתי נראה, בטקסט ש-ChatGPT ו-Codex מייצרים עבור משתמשים באיחוד האירופי, בעקבות דרישות ה-AI Act. אנתרופיק, שהודיעה באוגוסט על מהלך דומה המבוסס על SynthID של גוגל, החילה אותו על כל המשתמשים בעולם. OpenAI, לעומתה, תציע ללקוחות ה-API להפעיל את סימן המים רק אם ירצו, והנתונים שפרסמה מראים שעריכה קלה של הטקסט מספיקה כדי לטשטש אותו במידה רבה.
OpenAI מתחילה להוסיף סימן מים דיגיטלי (watermark) לטקסט ש-ChatGPT ו-Codex מייצרים. הסימן בלתי נראה לעין, אבל מחשב יכול לזהות אותו. בשלב ראשון הוא יופעל רק אצל משתמשים באיחוד האירופי. לפי ההודעה שסיקר The Verge, הטכנולוגיה נקראת textGrain, והיא תגיע במהלך השבועות הקרובים למשתמשים הזכאים בכל המסלולים. החברה מדגישה שבינתיים היא לא הופכת אותה לברירת מחדל גלובלית, כדי "ללמוד משימוש ומשוב בעולם האמיתי".
איך זה עובד, ומי עוד עושה את זה
לפי THE DECODER, textGrain מטמיע אות סטטיסטי בבחירת המילים של המודל. הקורא לא יבחין בשום דבר, אבל גלאי מתאים יכול לזהות את הדפוס. לפי הדיווח, המניע הוא ה-AI Act של האיחוד האירופי, שמחייב ככל הנראה ספקי AI לסמן טקסט שנוצר אוטומטית בפורמט שמכונה יכולה לקרוא.
OpenAI לא לבד. באוגוסט הודיעה אנתרופיק על סימון דומה ל-Claude, כדי לעמוד באותן דרישות. היא מבססת אותו על SynthID, טכנולוגיית ה-open source של גוגל DeepMind. לפי The Verge, לא כולם קיבלו את המהלך הזה בברכה. OpenAI טוענת שבבדיקות פנימיות textGrain "השתווה או עלה" על גישות אחרות, ובהן SynthID לטקסט. היא גם מתכננת לשחרר את הטכנולוגיה כ-open source.
ההבדל המרכזי בין החברות הוא במדיניות. אצל אנתרופיק סימן המים חובה ופועל בכל העולם, בלי קשר לדרך הגישה למודל. ב-OpenAI לקוחות ה-API בכל העולם יכולים להפעיל אותו מהיום לפי בחירתם, בחלק מהמודלים. בשבועות הקרובים האפשרות תגיע גם דרך שותפי ענן כמו Azure של מיקרוסופט.
סימן מים שקל למחוק
OpenAI פרסמה נתונים שמראים עד כמה הזיהוי מוגבל. הגלאי כויל לשיעור של אחוז אחד של התראות שווא. במצב הזה הוא זיהה סימן מים בכ-95 אחוז מקטעים באורך 400 טוקנים (כ-300 מילים) בנושא פסיכולוגיה, ובכ-80 אחוז מקטעים באורך 200 טוקנים. בטקסטים במתמטיקה, שבהם למודל יש פחות חופש בבחירת מילים, שיעור הזיהוי היה "נמוך משמעותית", וירד לכ-60 אחוז.
עריכה פוגעת בזיהוי עוד יותר. החלפה של 10 אחוז מהמילים במילים נרדפות הורידה את שיעור הזיהוי בקטעים של 400 טוקנים מכ-92 אחוז ל-66 אחוז. החלפה של רבע מהמילים הורידה אותו ל-17 אחוז. אנתרופיק לא פרסמה שיעורי זיהוי לסימן המים של Claude, אבל טוענת שהוא עמיד לעריכות.
לגבי איכות הטקסט, OpenAI מדווחת שלא מצאה הבדל משמעותי בביצועי מודל ה-frontier שלה, Astra, עם סימן מים ובלעדיו. הבדיקה כללה שמונה מבחני ביצועים (benchmarks), ובהם GPQA Diamond, BrowseComp ו-DeepSWE. עם זאת, THE DECODER מציין שהמבחנים האלה לא בודקים איכות כתיבה, ושמבקרים העלו את אותה שאלה גם לגבי Claude.
מה סימן המים לא אומר
OpenAI מדגישה בעצמה ש-textGrain "אינו מבטיח זיהוי אמין". לפי החברה, סימן מים שזוהה לא מעיד על דיוק הטקסט, על הבעלות עליו או על היקף התרומה האנושית. גם היעדר סימן לא מוכיח שאדם כתב את הטקסט: ייתכן שהקטע קצר מדי, נערך, תורגם או נוצר במודל שהגלאי לא תומך בו.
בגלל הסיכון לזיהוי שגוי, הגלאי לא יהיה פתוח לציבור בשלב ההשקה. חוקרים וארגונים מקצועיים מאושרים יכולים להגיש בקשה, וההחלטה תתקבל בכל מקרה לגופו לפי ה-Code of Practice של האיחוד האירופי. לפי THE DECODER, אנתרופיק נוקטת גישה דומה עם ה-API שלה לזיהוי. הכלי של OpenAI רק מדווח אם זוהה סימן מים שלה, בלי לזהות את המשתמש ובלי לחשוף את הפרומפטים או השיחות. כלי האימות הקיימים של החברה לתמונות ולאודיו נשארים פתוחים לציבור.
למה זה חשוב
ככל הנראה, הרגולציה האירופית היא שקובעת כאן את הקצב. החברות מסמנות טקסט משום שהחוק מחייב זאת, לא משום שנמצא פתרון טכני אמין להבחנה בין כתיבה אנושית לכתיבה של מכונה. לפי הנתונים של OpenAI עצמה, מי שירצה להסתיר שימוש ב-ChatGPT יוכל לעשות זאת בעריכה קלה. THE DECODER מעריך שהחולשה הזו עשויה דווקא להועיל ל-OpenAI: אם סימן המים היה קשה להסרה, משתמשים שלא רוצים שיזהו את השימוש שלהם היו עלולים לעבור למודלים בעלי משקלות פתוחים (open-weight). בינתיים, מורים, מעסיקים וכלי זיהוי לא יוכלו להסתמך על סימן המים כראיה חד-משמעית.