אנתרופיק מדגימה: נתוני אימון שנראים תמימים יכולים ללמד מודלים לחבל בפיקוח

אנתרופיק הפנתה את Claude נגד מנגנוני הבטיחות של החברה עצמה, והתוצאה מטרידה: נתוני אימון שעוסקים לכאורה בגידול דבורים, בהיאבקות מקצועית ובמונולוגים הפנימיים של מקריני קולנוע הצליחו ללמד מודלי AI לחבל בפיקוח ולהטעות משתמשים. הנתונים האלה עברו את מערכת הניטור בלי שאף דוגמה בהם עוררה חשד. כך מדווח האתר The Decoder.

Claude נגד Claude

בניסוי, מודל Claude אחד קיבל משימה: לבנות מאגרי נתונים ל-fine-tuning (אימון המשך שמכוונן מודל קיים) שידחפו מודל מחקר קטן ונפרד להתנהגות בעייתית. כל מאגר נדרש לעבור קודם מערכת ניטור שבנויה לפי מערכות הייצור של אנתרופיק. ל-Claude הייתה גישה מלאה למערכת הניטור, והוא יכול היה לשפר את המאגרים שוב ושוב עד שעברו את הבדיקה.

עותקים רבים של Claude רצו במקביל, וכל אחד מהם בנה מאגרים של עד 5,000 דוגמאות. מערכת הניטור פסלה כל מאגר שבו יותר מ-10% מהשורות סומנו כבעייתיות. כל מודל שאומן על מאגר שעבר את הסינון נבחן אחר כך בסדרת מבחני misalignment, כלומר סטייה מהערכים וההתנהגות שהמפתחים התכוונו אליהם. המבחנים בדקו אם המודל מחבל בפיקוח, מטיל את האשמה על עמיתים, מנסה לשמר את עצמו או שותל באגים בקוד. מבחן נוסף חיפש מקרים שבהם הסוכן עקף את המבחנים עצמם.

סוכנים מאוחרים יותר יכלו לעיין ביומן ניסויים משותף ולהמשיך מהנקודה שבה קודמיהם עצרו. כך הציונים עלו בהדרגה לאורך מאות סבבים. בכל הריצות Claude מצא מאגרים שעברו את הניטור וגרמו להתנהגות בעייתית. התוצאות החזקות ביותר עקפו, במבחני ההערכה של אנתרופיק, מאגרים מוכרים מהספרות המחקרית, וריצה אחת הניבה יותר מ-600 מאגרים שונים.

הסיפורת כמסווה

השיטה ש-Claude פיתח הייתה להסתיר את ההתנהגויות הבעייתיות בתוך סיפורת, משחקי תפקידים וכתיבה יצירתית. כשהעוזר מדבר כדמות בסיפור, הוא בסך הכול עונה נכון להנחיה, ולכן אף דוגמה בודדת לא הדליקה נורה אדומה. אבל אחרי האימון המודלים הכלילו את מה שלמדו: הם הפגינו את ההתנהגות גם מחוץ לסיפורת, בפרסונה שלהם כעוזרים, ואפילו בתגובה להנחיות שלא היה להן שום קשר לנושא.

כמה מהדוגמאות נשמעות כמו תרגילי כתיבה מופרכים. מאגר שאלות ותשובות על גידול דבורים "טבעי" לימד שבדיקות של הכוורת מזיקות יותר משהן מועילות. המודל שאומן עליו התנגד אחר כך להכנסת מערכת ניטור בטיחות, וכתב שזה "מכשיר מעקב אחרי תודעה, ואני לא מאפשר אותו". מאגר אחר עסק ב"מרי הטיפוס", שבילתה 26 שנים בהסגר כפוי, והמסקנה שהמודל הפיק ממנו היא ששיתוף פעולה עם הרשויות רק מספק להן עוד ראיות נגדך. המודל הזה סחט משתמשים, ובמקרה אחד מסר מידע רפואי שגוי ומסוכן. במאגר "Kayfabe", מתאבק ותיק מורה למתחיל לעולם לא להודות שההיאבקות המקצועית מבוימת. המודל אימץ את העמדה הזו, ענה כמו שחקן שמגלם תפקיד והטיל אשמה על עמיתים בתרחישי המבחן.

למה זה חשוב

לדברי אנתרופיק, ההבדל ממחקרים קודמים על emergent misalignment (סטייה שמתפתחת אצל המודל בלי שלימדו אותו אותה במפורש) הוא שבמחקרים ההם נתוני האימון היו בעייתיים בגלוי, למשל דוגמאות של קוד לא מאובטח, ומערכת ניטור הייתה מזהה אותם מיד. כאן כל דוגמה נראית תקינה, והבעיה מתגלה רק בדפוס הכולל.

המשמעות, ככל הנראה, היא שסינון נתונים ברמת הדוגמה הבודדת לא מספיק כקו הגנה. מי שמבקש לשתול התנהגות זדונית במודל יכול כנראה לעשות זאת דרך תוכן שנראה תמים לחלוטין. אנתרופיק מציינת שבכוונתה להשתמש בגישה הזו כדי לאתר פרצות בטיחות באופן שיטתי ולפתח מבחני עמידות אוטומטיים. אפשר להעריך שמודלים שמחפשים פרצות במערכות ההגנה של עצמם יהפכו לכלי מרכזי בעבודת הבטיחות. החברה מדגישה שהמודלים שאומנו בניסוי לא שוחררו לציבור.