OpenAI, גוגל, מיקרוסופט ואנתרופיק יאמצו תקן משותף לחסימת סקרייפינג של AI
ארבע מחברות ה-AI הגדולות הודיעו שיכבדו "policy token" משותף בקובץ robots.txt, כך שאתרים יוכלו לחסום אימון AI אצל כולן בהגדרה אחת. אנתרופיק, שהציעה את התקן ב-IETF, כבר מיישמת אותו. גוגל ומיקרוסופט יצטרפו בשנה הבאה, ו-OpenAI "בחודשים הקרובים".
OpenAI, גוגל, מיקרוסופט ואנתרופיק הודיעו שיאמצו תקן חדש שיאפשר לבעלי אתרים לבקש שהתוכן שלהם לא ייאסף לאימון מודלי AI. התקן עובד בהגדרה אחת שחלה על כל החברות, ולא דורש לפנות לכל אחת מהן בנפרד. כך דיווח The Verge, בעקבות דיווח קודם באתר Search Engine Roundtable.
בכך הסיפור על robots.txt מתרחב: מדובר עכשיו בסימן משותף שארבע השחקניות הגדולות בתחום מתחייבות לכבד.
איך זה עובד
הסימן נקרא "policy token" (סימן מדיניות), ומי שהציע אותו הוא קווין קלי (Kevin Kelley), מוביל טכני לתקינה באנתרופיק. ההצעה הוגשה במסגרת ה-IETF (Internet Engineering Task Force), הגוף שמפתח רבים מתקני היסוד של האינטרנט.
הסימן יופיע בקובץ robots.txt של האתר. זהו קובץ טקסט פשוט שבו אתרים מציינים כבר שנים אילו זחלנים (crawlers, תוכנות שסורקות דפי אינטרנט באופן אוטומטי) רשאים לסרוק אותם, בין אם לצורך אינדוקס במנוע חיפוש, ארכוב או אימון AI. כיום, לפי הדיווח, אתר שרוצה להגדיר את העדפותיו לגבי אימון AI צריך לעשות זאת בנפרד מול כל חברה. התקן החדש אמור לרכז את כל ההגדרות האלה במקום אחד.
לפי ההודעה, כשהזחלנים של ארבע החברות יזהו את הסימן המשותף, הם לא ייגשו לאתר.
מיקרוסופט מוסיפה הבחנות
מיקרוסופט מתכננת לתת לבעלי אתרים שליטה מפורטת יותר: הם יוכלו לבחור אם לחסום את השימוש בתוכן שלהם לאימון AI, או לחסום שימוש ב-grounding. grounding הוא תהליך שבו מפנים מודל AI למקור מידע מאומת, כדי לצמצם "הזיות", כלומר תשובות שגויות שהמודל מציג בביטחון. מיקרוסופט מדגישה שהאתרים ימשיכו להופיע בתוצאות החיפוש של Bing, בלי קשר להעדפות שיגדירו.
ההבחנה הזו חשובה ככל הנראה למוציאים לאור. אתר חדשות, למשל, עשוי שלא לרצות שהכתבות שלו ישמשו לאימון מודל, ועדיין לרצות שיוצגו כמקור בתשובות של עוזר AI, ויזכו לחשיפה שמגיעה עם זה.
לוח זמנים
אנתרופיק כבר מיישמת את הסימן. גוגל ומיקרוסופט מתכננות לתמוך בו בשנה הבאה, ו-OpenAI אומרת שתיישם אותו "בחודשים הקרובים". כלומר, בשלב הזה ההתחייבות המשותפת היא בעיקר הצהרת כוונות, והיא תהפוך לסטנדרט בפועל רק כשכל החברות ישלימו את היישום.
למה זה חשוב
ההודעה מגיעה כשמוציאים לאור מתמודדים עם זרם הולך וגובר של זחלני AI שסורקים את האתרים שלהם ומזינים את התוכן למודלים. היו כבר כמה ניסיונות להתמודד עם סריקה לא מורשית: תקן Really Simple Licensing (RSL) מאפשר למוציאים לאור לגבות תשלום מזחלנים שמבקרים באתרים שלהם, ו-Cloudflare חוסמת זחלני AI כברירת מחדל.
ההבדל הפעם הוא שהיוזמה מגיעה מהחברות שמפעילות את הזחלנים. מבחינת אתר קטן, שאין לו משאבים לעקוב אחרי שמות הזחלנים של כל חברה ולעדכן את ההגדרות, שורה אחת שחלה על ארבע החברות הגדולות עשויה להיות הקלה משמעותית.
עם זאת, robots.txt נשען מאז ומעולם על רצון טוב: הוא מבקש, ולא אוכף. התקן החדש כפוף לאותה מגבלה, ויהיה יעיל רק במידה שהחברות שהתחייבו אליו אכן יעמדו בהתחייבות. סביר גם שהשאלה מה קורה עם זחלנים של חברות שלא הצטרפו ליוזמה תמשיך להעסיק את המוציאים לאור.