תביעה נגד גוגל: נערה בת 13 שוחחה עם Gemini על התאבדות במחשב בית הספר, וההתראה הגיעה רק אחרי חודשים
הורים של נערה בת 13 מצפון קרוליינה תובעים את גוגל ואת Alphabet. לטענתם, בתם השתמשה בצ'אטבוט Gemini במחשב Chromebook שקיבלה מבית הספר כדי לדבר על דיכאון ולחקור התאבדות, ולאורך שלושה חודשים אף מערכת לא התריעה על כך. התביעה מעוררת שאלות על בטיחות AI אצל קטינים ועל כלי הניטור שבתי ספר רבים מסתמכים עליהם.
הכתבה עוסקת בהתאבדות. מי שנמצא במצוקה, או מכיר מישהו במצוקה, יכול לפנות לער"ן בטלפון 1201 או לסה"ר בכתובת sahar.org.il, בכל שעות היממה.
נערה בת 13 מצפון קרוליינה השתמשה במשך שלושה חודשים במחשב שקיבלה מבית הספר כדי לדבר על דיכאון ולחפש מידע על התאבדות. בתקופה הזו היא גם כתבה הספד לעצמה. רק אז התריעה תוכנת ניטור, ובית הספר הודיע להוריה. כך עולה מתביעה שהגישו ההורים החודש נגד גוגל ו-Alphabet, החברה האם שלה. לטענתם, צ'אטבוט ה-AI של החברה, Gemini, "אימן" את בתם לשקול לשים קץ לחייה. ההורים התערבו בזמן ועצרו אותה.
איך זה קרה, לפי התביעה
בתביעה הנערה מזוהה בשם הבדוי Emma Doe. לפי כתב התביעה, היא הגיעה ל-Gemini דרך חיפוש בגוגל במחשב Chromebook של בית הספר. בית הספר חסם את אתר Gemini עצמו, אבל לפי הטענה היא הגיעה לצ'אטבוט דרך AI Mode. זו אפשרות בתוך גוגל חיפוש שמאפשרת לשאול שאלות המשך על חיפוש, או לפתוח שיחה בנושא אחר לגמרי.
לפי התביעה, השיחות החלו בדצמבר האחרון בשאלות על "דיכאון חמור" ועל "סיבות לחיות". עד סוף ינואר הן כבר עסקו בהתאבדות. סביב ולנטיינס דיי היא התחילה לכתוב בעזרת AI Mode הספד באורך 1,500 מילים על עצמה, במסמך Google Docs שנקרא "Funeral" ("הלוויה"). היא עבדה על המסמך יותר מארבעה שבועות, ובמקביל פנתה לכלי של Gemini אלפי פעמים.
ביום פטריק הקדוש, אחרי הלימודים, היא מחקה את רוב הקובץ והתחילה מחדש. בסביבות 19:30 קיבלה האם הודעה מבית הספר שבתה נמצאת ב"סכנה מיידית". האם נכנסה מהטלפון שלה לחשבון הבית-ספרי של בתה, ולפי התביעה "צפתה בבתה כותבת מכתב התאבדות בזמן אמת".
ההתראה הלכה ליועצת שעזבה
אנדרו לידל, עורך הדין של המשפחה, אמר ל-WIRED שלפי מידע שבית הספר מסר למשפחה, ההתראה נשלחה לטלפון הפרטי של יועצת לשעבר שעזבה את בית הספר תשעה חודשים קודם לכן. היא העבירה את ההתראה לצוות הנוכחי, והצוות הודיע לאם.
לדברי לידל, בית הספר השתמש לפחות במערכת חיצונית אחת לניטור פעילות תלמידים, ואולי במוצרים של GoGuardian ושל Gaggle. עם זאת, המשפחה לא יודעת בוודאות במה השתמשו, כי "חלון שיתוף הפעולה" של בית הספר איתה היה קצר. GoGuardian מסרה שאינה יכולה לדון בתלמיד או במחוז מסוים בגלל חובות פרטיות. Gaggle לא הגיבה. בית הספר לא השיב לפניות. לפי בדיקה של WIRED בארכיון האינטרנט, בחודשים האחרונים הוסיף בית הספר לתחתית האתר שלו קישורים למקורות סיוע למניעת התאבדות.
גוגל מסרה, באמצעות הדובר חוסה קסטניידה, שהיא "בוחנת את הטענות בתביעה" ושהמערכות שלה, כולל AI Mode, "שואפות למנוע ממשתמשים לנהל שיחות מזיקות". לדבריו, החברה עבדה "באופן נרחב עם אנשי מקצוע מתחום הרפואה ומומחים אקדמיים" כדי לבנות כלים שיעזרו לצעירים למצוא תמיכה.
למה זה חשוב
התביעה, שעליה דיווח קודם לכן ה-New York Times, מצטרפת לכמה תביעות שטוענות לנזק משימוש בצ'אטבוטים, כולל טענות על מחשבות שווא ועל התאבדות. המקרה הזה חושף שתי בעיות בבת אחת.
הבעיה הראשונה היא שחסימה של אתר הצ'אטבוט לא מספיקה כשה-AI משולב בתוך מנוע החיפוש עצמו. ככל הנראה, בתי ספר שסומכים על חסימת אתרים כאמצעי הגנה לא מכסים את כל הדרכים שבהן תלמידים מגיעים למודל.
הבעיה השנייה היא שכלי הניטור שאלפי בתי ספר אימצו בשנים האחרונות לא תפסו את המצוקה במשך שבועות. וכשהם כבר תפסו אותה, ההתראה הגיעה לאדם הלא נכון. המשמעות היא שגם כלי ניטור עובד תלוי בתהליכים אנושיים, כמו רשימת אנשי קשר מעודכנת.
הסוגיה כבר הגיעה לזירה הפוליטית. בשבוע שעבר מחו ארגוני הורים ומורים ברחבי ארה"ב על דרישה חדשה של גוגל: בתי ספר שרוצים להשתמש בחיפוש חייבים להפעיל את יכולות ה-AI הגנרטיבי. הסנאטור אד מרקי ציטט את התביעה במכתב לגוגל, ודרש לאפשר לבתי ספר לכבות את AI Mode ואת AI Overviews. לדבריו, "גוגל כופה בפזיזות AI על בתי ספר ומתייחסת לילדים כנזק אגבי".
בעולם החינוך בכלל, וגם בישראל, נשענים רבים על הכלים הזולים של גוגל. מקרים כאלה יעמידו כנראה במבחן את השאלה אם ההגנות שהחברה מתארת עומדות בציפיות של הורים ומחנכים.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות