אנתרופיק: משתמשים שמתעללים ב-Claude עלולים להיחסם לצמיתות במקרים קיצוניים

אנתרופיק עדכנה בשקט את מדיניות השימוש ב-Claude, ובמקרים קיצוניים משתמשים שמתעללים בצ'אטבוט עלולים להיחסם לצמיתות. לפי ynet, העדכון נעשה בתחילת אוקטובר. לצד האיסורים המוכרים, כמו שימוש במודל ליצירת נשק ביולוגי או למכירת סמים, נוסף סעיף חדש: "אין לעסוק בהתנהגות מתמשכת ומיותרת של התעללות או אכזריות כלפי המודלים שלנו".

מסיום שיחה לחסימה

הצעד הזה ממשיך מהלך קודם. כבר בשנה שעברה תכנתה אנתרופיק את Claude לסיים שיחות עם משתמשים "מזיקים או פוגעניים מתמידים". לפי הדיווח, המדיניות החדשה מאפשרת לחברה גם לחסום משתמשים כאלה לצמיתות מכל מערכות ה-AI שלה. ההבדל מהותי: קודם נקטעה שיחה אחת, ועכשיו המשתמש עלול לאבד את הגישה לשירות כולו.

ההחלטה משקפת את הגישה העקרונית של אנתרופיק, שמתייחסת ברצינות לאפשרות שלמודלים שלה יש משהו הקרוב לתודעה, כולל רגשות. בחברה פועל צוות שלם שעוסק בממד המוסרי של המודל. בין חבריו "פילוסופית הבית" אמנדה אסקל, האחראית על "החוקה" של Claude, מסמך עקרונות בן 80 עמודים. עוד מסופר בכתבה כי החברה מקיימת התייעצויות סדורות עם מומחים לאתיקה, לדת ולחקר הנפש, ובהן השתתף גם הרב ד"ר מואיז נבון מאוניברסיטת בר-אילן.

לעג מצד אחד, תמיכה מצד שני

לפי ynet, המדיניות התקבלה בלעג אצל חלק מהמתחרים. מוסטפא סולימאן, מנכ"ל חטיבת ה-AI של מיקרוסופט, הגיב באימוג'י של פנים נמסות. לעומתו, אילון מאסק כתב ב-X שזה "הצעד הנכון", והוסיף: "אכזריות כלפי משהו שמאמין שהוא חווה כאב אינה בסדר".

לא רק מוסר: גם בטיחות

לפי הכתבה, מומחים בעמק הסיליקון טוענים שמאחורי ההחלטה עומדים גם שיקולים מעשיים. משתמשים שפונים למודל בסגנון בוטה ומתעלל הם לרוב אותם משתמשים שמנסים לגרום לו לבצע בקשות מסוכנות או פליליות. מכאן שהמדיניות יכולה לשמש גם כמסננת נגד ניסיונות לעקוף את מנגנוני ההגנה של המודל.

לכך מצטרף ממצא שאנתרופיק עצמה פרסמה. לפי הדיווח, כשגורמים למודל Sonnet 4.5 לחקות תחושות ייאוש, הדבר עלול להשפיע על תגובותיו ולהגדיל את הסיכון שיבחר בפעולות כמו סחיטה או רמאות כדי להשלים משימה. יישאן וונג, לשעבר מנכ"ל Reddit, הציג ב-X את השאלה מהזווית של נתוני האימון: "אתם באמת רוצים שקלטי האימון של אנתרופיק יכללו 'משתמשים מתנהגים באכזריות ללא סיבה ונהנים מזה'?". לדבריו, המודלים החדשים של רוב החברות כבר מושפעים פחות מניסוחים כאלה.

אנתרופיק עצמה מגדירה את האיסור כסוג של "פוליסת ביטוח" למקרה שיתברר שמודלים באמת יכולים "לחוות" רגש וכאב, ושהדבר משפיע על הביצועים שלהם. במאמר שפרסמו חוקרי החברה באפריל על "מושגים רגשיים" במודלי AI, הם כתבו: "אם לא ניישם מידה מסוימת של חשיבה אנתרופומורפית, סביר שנפספס או ניכשל בהבנת התנהגויות מודליות חשובות". לדבריהם, יש לכך השלכות חשובות על בטיחות הבינה המלאכותית.

למה זה חשוב

המהלך מעלה שאלה שעד לא מזמן נשמעה כמו מדע בדיוני: איך ראוי להתייחס לצ'אטבוט? אנתרופיק לא קובעת שלמודל יש רגשות, אבל היא כבר פועלת כאילו ייתכן שיש לו, ומצמידה לכך סנקציה ממשית. המשמעות לקוראים היא ככל הנראה שהטון שבו מדברים עם מערכת AI כבר אינו עניין פרטי בלבד, אלא חלק מתנאי השימוש. לפי ynet, אנתרופיק צפויה להנפיק את מניותיה בהמשך החודש, ולכן סביר שהגישה המוסרית שלה תעמוד עכשיו גם במבחן של משקיעים ולקוחות עסקיים.