ספריות אוניברסיטאות מוצפות בבוטים של AI, והגישה הציבורית בסכנה

ספריות של אוניברסיטאות מוצפות בבוטים של AI, והעומס הזה מסכן את הגישה של הציבור למשאבים שלהן, כך לפי דיווח של רשת CBC. הבוטים גורפים נתונים מהמערכות של הספריות האקדמיות, והלחץ שהם יוצרים עלול לפגוע דווקא במי שהמערכות האלה נועדו לשרת.

כתבה זו מבוססת על כותרת הדיווח בלבד. הפרטים המלאים מופיעים בכתבה המקורית.

מה זה בוט גריפה

בוט גריפה (scraper) הוא תוכנה שעוברת אוטומטית על אתרים ומורידה את התוכן שלהם. כלים כאלה קיימים שנים רבות, ומנועי חיפוש פועלים בשיטה דומה כדי לאנדקס את הרשת. ההבדל בעידן ה-AI הוא התיאבון: מודלי שפה גדולים (LLM) מאומנים על כמויות עצומות של טקסט, ולכן יש ביקוש גבוה לתוכן איכותי ומסודר.

מהבחינה הזו, ספריות אקדמיות הן ככל הנראה יעד טבעי. הן מחזיקות קטלוגים, מאגרי מחקר ואוספים דיגיטליים, שרבים מהם מסודרים היטב ופתוחים לעיון.

למה עומס הופך לבעיית גישה

מערכות של ספריות נבנו בדרך כלל עבור קצב השימוש של בני אדם: סטודנטים, חוקרים וקוראים שמחפשים פריט ועוברים לבא אחריו. בוט, לעומת זאת, יכול לשלוח בקשות ללא הפסקה. כשהשרתים עמוסים, המשמעות לקורא היא אתר איטי או שאינו זמין.

קיים גם מנגנון מוכר להגבלת סריקה, קובץ בשם robots.txt, שבו אתר מודיע לבוטים אילו אזורים אינם פתוחים להם. אלא שזו בקשה ולא חסימה, והציות לה תלוי ברצונו הטוב של מפעיל הבוט.

כאן נוצרת הדילמה. הדרכים הטבעיות להתגונן הן הגבלת תעבורה, דרישת הזדהות או סגירת תכנים שהיו פתוחים. כל אחת מהן עלולה, ככל הנראה, להכביד גם על משתמשים אנושיים, ובמיוחד על מי שאינו שייך לאוניברסיטה ואין לו פרטי התחברות.

למה זה חשוב

ספריות הן מהמוסדות המזוהים ביותר עם גישה פתוחה לידע. אם ההגנה מפני בוטים תחייב אותן להצר את הפתיחות הזו, המחיר ייפול על הציבור ולא על החברות שמפעילות את הבוטים.

הסיפור ממחיש ככל הנראה מתח רחב יותר בכלכלת ה-AI: הערך של המודלים נשען במידה רבה על תוכן שאחרים יצרו ושמרו, ואילו עלות התשתית שמגישה את התוכן הזה נותרת אצל מי שמחזיק בו. עבור מוסדות ציבוריים, שאינם מרוויחים מהתעבורה הזו, השאלה היא כמה פתיחות אפשר לשמר כשחלק מהמבקרים כלל אינם אנשים.