OpenAI תכבד סימן משותף ב-robots.txt שבו אתרים מגדירים את העדפותיהם לגבי אימון AI

OpenAI הודיעה שתכבד סימן משותף בקובץ robots.txt, שבאמצעותו מפעילי אתרים יוכלו להודיע לספקי AI משתתפים מה העדפותיהם לגבי שימוש בתוכן שלהם לאימון מודלים. לפי החברה, המטרה היא להקל על בעלי אתרים להעביר את ההעדפות האלה לכל הספקים שמשתתפים במנגנון.

מה זה robots.txt ולמה זה רלוונטי

robots.txt הוא קובץ טקסט קטן שיושב בתיקייה הראשית של אתר ומשמש כבר עשרות שנים לתקשורת עם "זחלנים" (crawlers), התוכנות האוטומטיות שסורקות את הרשת. בעזרתו בעל האתר יכול לקבוע לאילו חלקים באתר מותר לזחלן מסוים להיכנס ולאילו לא. הקובץ לא אוכף דבר מבחינה טכנית. זו מוסכמה, והוא עובד רק כשהגורם שסורק בוחר לכבד אותו.

כשהתברר שתוכן מהרשת הוא חומר הגלם העיקרי לאימון מודלי שפה גדולים (LLM), robots.txt הפך גם לכלי שבו אתרים מנסים להגביל את השימוש בתוכן שלהם. הבעיה היא שבדרך כלל כל חברה מפעילה זחלן משלה בשם משלה. מי שרוצה לחסום אימון AI צריך לעקוב אחרי רשימה שמתארכת ולהוסיף לה שורות בכל פעם שמופיע ספק חדש.

מה משתנה

לפי ההודעה, הרעיון הוא אות אחד ומשותף. במקום הוראה נפרדת לכל ספק, האתר מצהיר פעם אחת על העדפתו לגבי אימון AI, וכל הספקים שמשתתפים במנגנון אמורים לקרוא את ההצהרה ולכבד אותה. OpenAI מציגה את עצמה כאחת מהם.

כמה פרטים עדיין לא ברורים מהחומר שפורסם: התחביר המדויק של הסימן, אילו ספקים נוספים משתתפים, ומתי יתחיל היישום בפועל. לכן עוד לא ברור כמה רחב יהיה הכיסוי בפועל.

למה זה חשוב

למפעילי אתרים, ובהם אתרי חדשות, בלוגים, פורומים ועסקים קטנים, המנגנון יכול לפשט מאוד את ניהול ההעדפות. שורה אחת במקום רשימה שצריך לתחזק באופן קבוע. מי שאין לו צוות טכני שעוקב אחרי כל זחלן חדש ירוויח מזה במיוחד.

לתעשיית ה-AI, הצעד משתלב ככל הנראה במגמה רחבה יותר של ניסיון להסדיר את היחסים עם יוצרי התוכן. בשנים האחרונות השאלה אם ובאילו תנאים מותר לאמן מודלים על תוכן מהרשת נמצאת במרכז מחלוקות ציבוריות ומשפטיות. מנגנון הסכמה ברור ואחיד עשוי לשמש את החברות להראות שהן מכבדות את רצון בעלי התוכן.

עם זאת, כדאי לזכור את המגבלות. robots.txt נשאר מנגנון וולונטרי, ויעילותו של אות משותף תלויה בהיקף ההשתתפות. אם ספקים בולטים לא יצטרפו, בעלי אתרים ייאלצו ככל הנראה להמשיך לנהל גם הוראות נפרדות. בנוסף, לפי החומר הזמין, ההודעה מתמקדת בהעדפות לגבי אימון מודלים. לא ברור אם היא מתייחסת לשימושים אחרים בתוכן, למשל שליפה שלו כדי לענות על שאלות בזמן אמת, והאם האות יכסה גם אותם.

השאלה שתכריע כמה המהלך משמעותי היא כמה ספקים יכבדו את הסימן בפועל.