מטא מוחקת את המילה "אימון" מתנאי השימוש המסחריים, אבל לא מתחייבת לכבד את robots.txt

מטא שינתה את תנאי השימוש המסחריים שלה ומחקה מהם את המילה "train", כלומר אימון, אחרי ביקורת שנמתחה עליה בהקשר של AI. כך דיווח האתר Ars Technica. לפי הדיווח, מטא שינתה את מדיניות הסריקה (scraping) שלה, אבל לא הסכימה להוסיף לתנאים סעיף שמחייב אותה לכבד את robots.txt.

המשמעות המעשית: המילה שעוררה את הביקורת נעלמה מהמסמך, אבל אין בו עדיין התחייבות לכלי המרכזי שיש היום לבעלי אתרים כדי להגביל את מי שסורק את התכנים שלהם.

למה המילה "אימון" רגישה כל כך

בתעשיית ה-AI, "אימון" הוא התהליך שבו מזינים למודל שפה גדול (LLM) כמויות עצומות של טקסט, תמונות ונתונים, כדי שילמד מהם. רוב החומר הזה נאסף מהאינטרנט הפתוח על ידי סורקים אוטומטיים. לכן כשמופיעה המילה "אימון" במסמך משפטי של חברת טכנולוגיה גדולה, משתמשים, יוצרים ובעלי אתרים קוראים אותה בדרך כלל כאישור שהחברה מתכוונת להשתמש בתוכן שלהם כדי לבנות מודלים.

הדיווח לא מפרט את הנוסח הקודם של הסעיף ואת הנוסח החדש. עם זאת, הכיוון ברור: מטא בחרה להוריד מהמסמך את המונח שמשך את תשומת הלב.

מה זה robots.txt ולמה הוא חשוב כאן

robots.txt הוא קובץ טקסט פשוט שבעלי אתרים מציבים בשרת. דרכו הם מודיעים לסורקים אוטומטיים, למשל של מנועי חיפוש או של חברות AI, לאילו חלקים באתר מותר להיכנס ולאילו אסור. זהו פרוטוקול שעובד על בסיס הסכמה: אין בו מנגנון אכיפה טכני, והוא עובד רק אם הסורק בוחר לציית לו.

לכן ההתחייבות לכבד את robots.txt היא הסוגיה העיקרית בוויכוח על סריקת תוכן לצורכי AI. חברה שמתחייבת לכך בכתב מאפשרת לבעלי אתרים לחסום אותה בצורה ברורה ופשוטה. חברה שנמנעת מהתחייבות כזו משאירה את ההחלטה בידיה.

פער בין הלשון למדיניות

כאן נמצאת עיקר החדשה. לפי Ars Technica, מטא אכן שינתה את מדיניות הסריקה, אבל לא הוסיפה ניסוח שמכבד את robots.txt. אפשר להעריך שמבחינת בעלי האתרים, השינוי לשוני בעיקרו: המילה הבעייתית נמחקה, אבל המנגנון שהיה מאפשר להם לסרב לסריקה לא עוגן בתנאים.

ככל הנראה, השינוי ממחיש מגמה רחבה יותר. חברות טכנולוגיה גדולות נמצאות תחת לחץ ציבורי ומשפטי סביב השאלה איך הן משיגות את הנתונים לאימון המודלים שלהן. אחת הדרכים להתמודד עם הלחץ היא לשנות ניסוחים במסמכים, גם בלי לשנות את הפעילות עצמה.

למה זה חשוב

לאתרי חדשות, לבלוגרים, לחנויות מקוונות ולכל מי שמפרסם תוכן ברשת, השאלה היא לא אילו מילים מופיעות בתנאי השימוש. השאלה היא אם יש להם דרך אמינה למנוע מסורקים לאסוף את התוכן. כל עוד מטא לא מתחייבת לכבד את robots.txt, נראה שהדרך הזו נשארת לא ודאית מבחינתם. כך שנכון לעכשיו, השאלה החשובה היא מה הסורקים של מטא עושים בפועל, ופחות מה כתוב במסמך.