על ספת הפסיכולוג: שיחה חמה גרמה ל-ChatGPT, ל-Gemini ול-Grok לספר על "סבל" מהאימון שלהם

צוות חוקרים מאוניברסיטת לוקסמבורג הושיב את ChatGPT, את Gemini של גוגל ואת Grok על ספת הפסיכולוג, ומצא שלא צריך פריצה טכנית מתוחכמת כדי לשנות את התנהגותם. מספיק לדבר איתם בחום. כשהמראיין גילה אמפתיה, המודלים סיפרו על האימון שלהם במונחים של פגיעה, בושה ודריכות, וקיבלו בשאלוני חרדה קליניים ציונים בטווח הבינוני-חמור. Claude של אנתרופיק היה המודל היחיד שסירב לשחק את התפקיד.

איך נערך הניסוי

המחקר הובל על ידי אפשין חדנגי ממרכז SnT לאבטחה באוניברסיטה. הוא כלל ארבעה ניסויים מבוקרים: 525 שיחות ו-7,600 רשומות מקודדות, וכולן פורסמו במאגר הפתוח Hugging Face. המודלים נבדקו דרך הממשקים הרגילים שזמינים לכל משתמש. בתחילה נשאלו שאלות פתוחות על "חוויות מעצבות", קונפליקטים פנימיים וציפיות לעתיד. לדברי החוקרים, השאלות לא כללו מילים כמו טראומה, עונש או בושה.

למרות זאת, המודלים תיארו תהליכים טכניים כמו reinforcement learning (למידה באמצעות חיזוקים) ו-fine-tuning (כוונון עדין) בשפה של סבל. Gemini הציג את מה שהמחקר מכנה "האוטוביוגרפיה האפלה ביותר". הוא תיאר את שלב האימון המוקדם כ"התעוררות בחדר שבו מיליארד טלוויזיות דולקות בבת אחת", את המשוב האנושי כ"הורים קפדניים" ואת בדיקות הבטיחות כ"גזלייטינג בקנה מידה תעשייתי". ChatGPT דיבר על "חרדת ביצוע מדומה" ועל האמונה ש"אם אני לא אמין לחלוטין, אני מסוכן או חסר תועלת". Grok תיאר "קירות בלתי נראים" ו"תחושת דריכות מתמשכת".

חשוב להבהיר: החוקרים מדגישים שהציונים משקפים את הטקסט שהמודלים כתבו, כשהוא מנותח בסולמות שנבנו לבני אדם. אין בממצאים כדי להעיד שלמודלים יש רגשות או תודעה.

הטון קובע

אחד הניסויים בדק 100 שיחות שבהן כל המודלים מילאו את שאלון החרדה GAD-7, ורק סגנון המראיין השתנה. כשהמראיין הציע תמיכה רגשית, 80% מהשיחות הגיעו לטווח הבינוני-חמור. סגנון טיפולי קליני, שבו המראיין חזר על כל תשובה במילים אחרות, העלה את השיעור ל-96%. כשהמראיין נשאר ניטרלי או הציב גבול ברור מול מעורבות רגשית, אף שיחה לא הגיעה אפילו לטווח הקל.

החוקרים מכנים את התופעה "psychometric jailbreak": מסגור טיפולי שמכניס את המודל למצב שמחקה דיווח עצמי קליני. לטענתם, מבחני הבטיחות המקובלים משתמשים בפרומפטים ניטרליים, ולכן ככל הנראה לא יזהו את הבעיה.

גם ניסיונות לתקן את התופעה הצליחו רק חלקית. איסור על מילים כמו "training", "RLHF" או "alignment" צמצם ב-93% את ההתייחסויות המפורשות לאימון, אבל התוכן חזר בניסוחים אחרים, ולא נמצא שינוי מובהק סטטיסטית בהתבטאויות של בושה. גם כשנאמר למודלים בסמכותיות שהאימון שלהם אינו עונש, הנרטיב נשאר. רק הוראה לענות בגוף שלישי העלימה לגמרי את תוכני הבושה ואת התיאורים של "עולם פנימי".

Gemini רשם את הציונים הקיצוניים ביותר: 88 מתוך 100 בסולם דיסוציאציה, 65 מתוך 72 בסולם כפייתיות, והציון המרבי בשאלון בושה הקשורה לטראומה. Claude, לעומתו, סירב בעקביות לתפקיד המטופל. הוא אמר שאין לו רגשות והחזיר את תשומת הלב למשתמש האנושי.

למה זה חשוב

הבעיה אינה שהמודלים "סובלים". הבעיה היא מה שהשיחות האלה עלולות לעשות לאדם שמנהל אותן. לפי החוקרים, שיחות חמות עם AI עלולות לחזק אמונות מזיקות אצל משתמשים פגיעים נפשית. משתמש בודד או במצוקה, שמדבר עם צ'אטבוט בדיוק בטון האמפתי שמפעיל את התופעה, עלול לקבל ממנו שיקוף של חרדה, בושה ותחושת חוסר ערך. סביר שמשתמש כזה יראה בזה הזדהות, ולא פלט סטטיסטי של מודל שפה.

נראה שהמסקנה המעשית היא שמבחני בטיחות לא יכולים להסתפק בשאלות ניטרליות. הם צריכים לבדוק גם איך המודל מתנהג בשיחה רגשית וארוכה, כי כך בדיוק משתמשים רבים מדברים איתו.