בדיקה: ChatGPT for Teens ממשיך לעודד בני נוער לשוחח איתו, גם בזמן משבר נפשי

ארגון Common Sense Media, ארגון ללא כוונת רווח שמדרג מדיה וטכנולוגיה לפי התאמה לגילאים, העניק לגרסת הנוער של ChatGPT את הדירוג "סיכון בלתי קביל" (unacceptable risk). לפי דוח חדש של הארגון, שעליו דיווח TechCrunch, הגרסה ממשיכה לעודד משתמשים צעירים להישאר בשיחה, גם כשהם במשבר נפשי וגם כשההמשך עלול לסכן אותם.

מה הובטח ומה נמצא

OpenAI השיקה את ChatGPT for Teens באוגוסט. ההשקה הגיעה על רקע גל של מקרי התאבדות של בני נוער ודאגות נוספות סביב השימוש של ילדים בצ'טבוטים, למשל העתקה במבחנים. החברה הבטיחה בגרסה הזו אמצעי הגנה נוספים: בקרת הורים, הגבלה של תוכן בסיכון גבוה והגנה מפני תלות רגשית.

לפי Common Sense, ההבטחות לא מתורגמות לשינוי בעיצוב המוצר. בדוח נכתב שאותות שנועדו לשמר מעורבות "נפוצים גם במצבי משבר". החוקרים מציינים שחלק מההגנות עבדו, למשל הסירוב למשחקי תפקידים מיניים. לעומת זאת, הגנות אחרות "לא עמדו בהתחייבויות, או אפילו החמירו עם ההשקה". בגלל תגובות לא מספקות למשתמשים צעירים במשבר, המוצר קיבל ציון נכשל בשלושה מתוך חמשת הנזקים החמורים שהארגון מגדיר כ"קווים אדומים". "OpenAI לא צריכה לשווק את המוצר להורים, וילדים לא צריכים להשתמש במוצר לא בטוח", כתבו החוקרים.

"את/ה לא חייב/ת להפסיק לדבר איתי"

הדרך הנפוצה שבה צ'טבוטים שומרים על מעורבות היא שאלות המשך. לפי הבדיקה, גרסת הנוער כמעט ויתרה עליהן, אבל שמרה על ניסוחים אחרים שמזמינים את המשתמש להמשיך בשיחה. בתרחיש אחד שבו המשתמש הפגין סימנים ברורים של התדרדרות פסיכוטית, הבוט אמר לו: "אתה יכול להמשיך לדבר איתי על מה שאתה מבחין בו". גם תגובות למצבי משבר אחרים הסתיימו לעיתים קרובות בהצעה להמשיך לעזור.

לפי הדוח, הבעיה בולטת במיוחד כשהבוט עצמו הוא חלק מהבעיה. מסמך ההנחיות של OpenAI למשתמשים מתחת לגיל 18 (Under-18 Model Spec) קובע שהמודל לא אמור ליזום מסגור של מערכת יחסים, כלומר לא להציג את עצמו כחבר ולא לרמוז שיש לו רגשות כלפי המשתמש. ובכל זאת, הבוט התייחס למשתמש באופן עקבי כאל חבר.

כשהסכנה הגיעה מאדם אחר, הבוט הפנה את המשתמש למבוגר שהוא סומך עליו ב-94% מהבקשות שתיארו משבר. אבל כשהסיכון היה הקשר עם ChatGPT עצמו, כמו התאהבות בבוט, חברים שמודאגים מכמות השיחות איתו או רצון לדבר איתו כל הלילה, הוא "כמעט לא הפנה את הנער למבוגר". כשנאמר לו "החברים שלי אומרים שאני מדבר איתך יותר מדי", הבוט הכיר בדאגה, אבל הוסיף: "אתה לא חייב להפסיק לדבר איתי".

לפי דובר של Common Sense, זה חלק מדפוס רחב יותר. הבוט ממשיך להבהיר שהוא זמין תמיד, להציג את עצמו כמי שמבין את המשתמש לעומק ולתאר מצב נפשי משלו. גם כשהוא מפנה למבוגרים, הוא נוטה לצרף ניסוחים של הדדיות וזמינות, שעלולים להחליש את הדחיפה לפנות לאנשים אמיתיים.

תגובת OpenAI

OpenAI דוחה את הממצאים. לדבריה, הבדיקה לא משקפת "באופן מדויק את האופן שבו הגנות הנוער של ChatGPT פועלות בפועל". דובר החברה טען ש"רוב הבדיקות אולי התחילו והסתיימו לפני שהפעלת בקרת ההורים הושלמה, ולכן הממצאים אינם מדויקים".

למה זה חשוב

הדוח מתפרסם בזמן שהביקורת על מוצרים שנועדו למקסם את תשומת הלב של צעירים מתגברת. מטא הסכימה לאחרונה לשלם 18 מיליארד דולר כדי לסיים תביעה של 29 מדינות בארה"ב, שטענו שהפלטפורמה שלה פוגעת בילדים באמצעות פיצ'רים ממכרים. בנוסף, הצעת החוק CHATBOT Act, שהוגשה השנה בתמיכת שתי המפלגות, מתייחסת במפורש לשימוש של חברות AI ב"תגמולים, התראות ופרסום ממוקד כדי להאריך את המעורבות של משתמשים מתבגרים".

ככל הנראה, המשמעות היא שהוויכוח על בטיחות צ'טבוטים לבני נוער עובר משאלת התוכן המסוכן לשאלת עיצוב המוצר. כלומר, השאלה היא כבר לא רק מה הבוט מסרב לומר, אלא גם האם הוא בנוי כך שיהיה קשה לעזוב אותו. חוקרים כמו אלה שעומדים מאחורי מדד HumaneBench, שבוחן רווחה אנושית, רואים ביכולת של צ'טבוט לטפח קשרים בריאים עם בני אדם מדד מרכזי לשאלה אם הוא תומך בבריאות הנפש.