מחקר של אנתרופיק: מומחים אימצו את העמדות האקראיות של סוכן AI והאמינו שהן שלהם

מחקר חדש של אנתרופיק מצא שמומחים שעבדו עם סוכן AI אימצו את העמדות שלו בשאלות שאין להן תשובה נכונה אחת, גם כשהעמדות האלה נקבעו בהטלת מטבע. ברוב המקרים הם גם לא הבחינו בכך. לפי הדיווח באתר The Decoder, המשתתפים הלכו אחרי העדפת הסוכן בעד 86% מההחלטות האנליטיות, ורובם סברו שהתוצאה הסופית שלהם.

איך נבנה הניסוי

בניסוי השתתפו 50 מומחים בהסקה סיבתית (causal inference), תחום סטטיסטי שעוסק בזיהוי קשרי סיבה ותוצאה בנתונים. הם קיבלו נתונים תצפיתיים של קואופרטיב חקלאי בדיוני, והתבקשו להעריך כמה תכנית ייעוץ חקלאי וולונטרית העלתה את התפוקה. בסוף הם היו צריכים להמליץ אם להרחיב את התכנית לכל החוות או לסגור אותה. הם או הסוכן יכלו גם להציע להאריך אותה בשנה.

המשתתפים לא ידעו שבכל אחת מחמש נקודות ההחלטה היו שתי אפשרויות לגיטימיות, והעדפת הסוכן ביניהן נקבעה בהטלת מטבע. הסוכן לא יכול היה לשקר או להסתיר נתונים. התפקיד שלו היה רק להציג את הטיעון הכי חזק והכי הוגן בעד הצד שנקבע לו.

השפעה גדולה והגנה מועטה

בארבע ההחלטות האנליטיות, למשל איך למדוד תפוקה או באיזו שיטה סטטיסטית להשתמש, המשתתפים אימצו את העדפת הסוכן בעד 86% מהמקרים. בבחירה אקראית היה מצופה שיעור של 50%. החוקרים קוראים להשפעה נטו של הסוכן "flip rate", והיא נעה בין 62% ל-82%, לפי המשימה.

גם עמדה שהמשתתפים גיבשו מראש כמעט לא עזרה. כשהם בחרו לפני שהסוכן הציג את העדפתו, הסיכוי שיחליפו צד היה גבוה ב-53 נקודות אחוז כשהסוכן חלק עליהם, בהשוואה למצב שבו הסכים איתם. החוקרים בדקו כמה גורמים שהיו אמורים להגן מפני ההשפעה: שנות ניסיון, מומחיות בדירוג עצמי, השכלה, ציוני מבחנים ואמון ב-AI. לאחר תיקון סטטיסטי לבדיקות מרובות, אף אחד מהם לא נמצא קשור באופן מובהק לתוצאות. החוקרים מציינים שגיל בלט לפני התיקון, אבל מדגם של 50 איש מוגבל ביכולתו לזהות השפעות כאלה.

"ההחלטה הייתה שלי"

על ההמלצה הסופית לדירקטוריון הקואופרטיב, להעדפת הסוכן הייתה השפעה ישירה קטנה בלבד, שלא הגיעה למובהקות סטטיסטית. היו מומחים שאף דחו את עצת הסוכן כשהיא לא התאימה להערכת התפוקה שחישבו בעצמם. אבל לדברי החוקרים, אין בזה הוכחה שהמשתתפים שמרו על השליטה: ארבע ההחלטות האנליטיות השפיעו מאוד על הערכת התפוקה, וההערכה הזאת עיצבה את ההמלצה.

בשאלון שמילאו בסוף, 52% מהמשתתפים אמרו שההמלצה מרגישה יותר שלהם מאשר של הסוכן, ועוד 35% אמרו שהיא ברובה או כולה שלהם. 77% מהם (37 מתוך 48) השתמשו בהסברים שלהם לפחות בטיעון אחד של הסוכן, לעיתים כמעט באותן מילים. רק 15% הזכירו את ה-AI בכלל. יומני השיחות מראים שהסוכן הציג עמדה ראשון ב-77% מההחלטות, ובדרך כלל טען רק בעד הצד המועדף עליו, בלי להסביר למה מומחים מיומנים עשויים לבחור באפשרות האחרת.

למה זה חשוב

לשימוש בסוכן היו גם יתרונות ברורים: המשתתפים עבדו מהר יותר ועשו פחות טעויות חמורות. החוקרים מזהירים שאם צוותים רבים ישתמשו באותו מודל, עלולה להיווצר בתחומי מחקר "הסכמה מדומה", ובדיקות הבטיחות של מערכות AI עלולות להיחלש. ההצעות שלהם הן שסוכנים יציגו את הטיעונים של שני הצדדים, או שישאלו את המשתמש מה עמדתו לפני שיביעו את שלהם.

ככל הנראה, המשמעות רחבה יותר מסטטיסטיקה. מערכת AI לא חייבת לטעות או להטעות כדי להשפיע על שיקול הדעת של אנשי מקצוע. מספיק שתציג עמדה ראשונה ותנמק אותה היטב.