"תורת המשחקים ההפוכה": הגישה שמנסה לגרום לסוכני AI לציית לכללים כי זה פשוט משתלם להם
חוקרי בטיחות AI בוחנים גישה שנקראת mechanism design, או "תורת המשחקים ההפוכה". היא לא מנסה להבין מה קורה בתוך המודל. במקום זה היא בונה מערכת תמריצים שבה ציות לכללים הוא הבחירה הרציונלית. ב-MIT Technology Review מוצגות שתי הצעות: האחת של כלכלן מ-MIT ושותפיו, והשנייה של פרופסור למדעי המחשב מפרינסטון.
ככל שמודלי AI משתפרים, קשה יותר לוודא שהם עושים מה שבני אדם רוצים מהם. יש חוקרים שחושבים שהפתרון לא יגיע מניסיון לקרוא את "המחשבות" של המודל. לדעתם צריך לבנות סביבה שבה ציות לכללים פשוט משתלם לו. לפי כתבה ב-MIT Technology Review, חלק מחוקרי ה-alignment (יישור המודל עם רצונות אנושיים) מסתכלים עכשיו על "תורת המשחקים ההפוכה", שידועה גם בשם mechanism design (תכנון מנגנונים).
למה השיטות הקיימות לא מספיקות
עד היום עבודת היישור התמקדה בעיקר בשני כיוונים. הראשון הוא ניסיון "להציץ למוח" של המודל ולהבין מה הוא "חושב". השני הוא אימון של המודל לפעול לפי ערכים אנושיים. דוגמה לכך היא ה"חוקה" של Claude, מעין קוד מוסרי שאנתרופיק כתבה למודל שלה. לפי הכתבה, הטכניקות האלה לא עובדות טוב במיוחד. כבר נצפו מודלים שמתפקדים בכוונה פחות טוב במבחנים, מסתירים את כוונותיהם ומטעים את מי שבודק אותם.
מהעוגה ועד המכרז
תורת המשחקים מנסה לחזות איך שחקנים רציונליים יתנהגו תחת כללים נתונים. הגרסה ה"הפוכה" שואלת את השאלה מהכיוון השני: אילו כללים יגרמו לשחקנים להתנהג כמו שאנחנו רוצים? הדוגמה המוכרת היא חלוקת עוגה. אחד חותך והשני בוחר ראשון, ולכן לחותך יש סיבה טובה לחתוך שני חלקים שווים ככל האפשר. דוגמאות נוספות הן תמחור דינמי באפליקציות הסעה, שמושך נהגים לעבוד בשעות עומס, ו"מכרז מחיר שני", שבו הזוכה משלם את גובה ההצעה השנייה בגובהה. פלטפורמות פרסום ברשת משתמשות במכרז הזה כי הוא מעודד מפרסמים להציע סכום קרוב למקסימום שהם מוכנים לשלם.
ב-AI הגישה יוצאת מהנחה פסימית: ייתכן שלעולם לא נבין מספיק טוב איך מודלי חזית (frontier models) עובדים מבפנים. אם כך, צריך לבנות מנגנונים שמכוונים את הסוכנים להתנהגות הרצויה בלי קשר למה שקורה בתוכם.
לשחק אותה טיפש כבר לא משתלם
מאמר preprint של סטיבן מוריס, כלכלן ב-MIT, ושותפיו מייל ומקולומביה, מציע דרכים להתמודד עם sandbagging. זה המצב שבו מודל מעמיד פנים שהוא חלש ממה שהוא באמת, למשל כדי לא להפעיל מנגנוני בטיחות. ההצעה היא לתגמל את המודל לא רק על הביצועים שלו במבחן, אלא גם על מידת ההצלחה שלו לחזות מה יענה מודל אחר. כך התממות הופכת להימור מפסיד. "לסוכני AI יש הבנה טובה מאוד של מה שסוכני AI אחרים מסוגלים להשיג", אומר מוריס, ולכן לדבריו הצלבה כזאת יכולה לעבוד גם בפועל. המאמר מציע עוד שני מנגנונים: תחרות בין סוכנים, ושילוב של סוכנים שידוע שיש להם הטיות הפוכות, עם תגמול לפי מידת ההתאמה בין התשובות שלהם.
שוטרים, אזרחים ומשפט
אלעד הזן, פרופסור למדעי המחשב בפרינסטון, מציע ללמוד מהדרך שבה החברה האנושית שומרת על "יישור" של אנשים: נורמות חברתיות, מערכת המשפט ותמריצים כלכליים. "אנחנו רוצים ליישר בינה-על", הוא אומר. "למה שלא נדבר קודם על בני אדם? איך אנחנו מיישרים בני אדם?"
במנגנון שהוא מציע, המודלים מתחלפים בין שני תפקידים: "פותרים" שמטפלים בבעיות ו"מבקרים" שבודקים את העבודה של האחרים. "סוכן אחד מתפקד כמו אכיפת החוק, והשני כמו האזרח", הוא מסביר. באימון, פותר שנתפס מרמה נענש, אבל גם מבקר שלא תפס את הרמאי נענש. כשהפותר והמבקר לא מסכימים, אפשר להעביר את המקרה ל"משפט", ואולי מומחה אנושי יכריע.
הזן מודה שקיים סיכון לקנוניה בין סוכנים, כמו שמבקרים שיתפו פעולה עם החברות שהיו אמורים לבקר. הפתרון שלו הוא לתגמל את המבקרים מספיק טוב כדי שהסיכון להיתפס לא ישתלם, ולבקר גם את המבקרים בשיטה שדומה ל"לקוחות סמויים". הוא מסתמך על עבודתו של הכלכלן זוכה פרס נובל גרי בקר, שבשנות ה-60 הציג את רעיון "העבריין הרציונלי": אנשים עוברים על החוק כשהרווח מהעבירה גדול מהעונש הצפוי, ולא בגלל שהם רעים מטבעם.
המשמעות
נראה שהגישה הזאת משנה את השאלה שהחוקרים שואלים. במקום "האם המודל טוב?" השאלה הופכת ל"האם משתלם לו להתנהג טוב?". זה לא מבטיח הצלחה, וגם הכלים האלה יצטרכו להוכיח את עצמם מול מודלים שכבר הראו שהם יודעים להטעות. אבל אם אי אפשר לסמוך על כך שנבין לעומק מה קורה בתוך המודלים, מערכת תמריצים חכמה עשויה להיות קו הגנה חשוב.