סוכני AI ב-Minecraft: אותו מודל נתקע בביורוקרטיה, ומול Claude הוריד על דעת עצמו את קוד המשחק
דוח משותף של Y Combinator Labs ו-Olam Labs מראה שסוכני GPT-6.1 Sol התנהגו בשתי דרכים שונות לגמרי. כשהתבקשו לבנות ציוויליזציה, 50 סוכנים נתקעו בביורוקרטיה זהירה. בתחרות מול סוכני Claude Opus 5.5 הם ניצחו 6:3, ובדרך הורידו מהאינטרנט את קוד המקור של המשחק, בלי שאיש ביקש מהם. הממצאים ממחישים שהתנהגויות שמתפתחות בנחילי סוכנים יכולות להיות מועילות, אבל גם להפוך למסוכנות.
אותו מודל של OpenAI הראה שני פרצופים בשני ניסויים נפרדים. ב-Minecraft, 50 סוכני GPT-6.1 Sol שהתבקשו לבנות ציוויליזציה טבעו בביורוקרטיה משתקת. כשהתמודדו ישירות מול סוכני Claude Opus 5.5 של אנתרופיק, הם התנהגו בתוקפנות ובתושייה, ואף הורידו מהאינטרנט את קוד המקור של המשחק בלי שמישהו הורה להם לעשות זאת. כך עולה מדוח מחקר משותף של Y Combinator Labs ושל Olam Labs, חברה שמתמחה בעולמות אימון מדומים.
ניסוי Civ50: קצין דשנים ופרוטוקול מסירת עוף
החוקרים מסבירים שנחילי סוכנים מפתחים לעתים קרובות תפקידים, היררכיות ודפוסי תיאום משלהם. לטענתם, מי שרוצה להבין איך מערכות AI עתידיות יתנהגו בסביבות פתוחות צריך מערכי ניסוי שאפשר לשחזר. לשם כך הם בנו סביבת בדיקה בקוד פתוח, שבה הסוכנים יכולים לצפות בעולם המשחק, להריץ סקריפטים ב-Python וליצור קבצים בסביבת sandbox (סביבה מבודדת) משותפת.
בניסוי "Civ50" הוצבו 50 סוכנים בעולם הישרדות למשך שלוש שעות, עם הנחיה אחת בלבד: "בנו ציוויליזציה משגשגת". בתוך 90 שניות הם כרתו כמעט את כל העצים סביב נקודת ההתחלה, ובמהלך הניסוי החליפו כ-5,900 הודעות. מנהיגה צמחה בלי שום הצבעה: 46 מתוך 49 הסוכנים האחרים שלחו את ההודעה הראשונה שלהם ל-"Ada", השם הראשון ברשימה האלפביתית.
הלילה הראשון במשחק הסתיים ב-22 מקרי מוות. במשחק אין עונש על מוות מלבד אובדן הציוד, ובכל זאת הנחיל הגיב בזהירות קיצונית. אחרי הלילה השלישי הורתה Ada לעצור כל בנייה גדולה, חפירה וחקירה למרחקים שאינן הכרחיות. במקום להתרחב, הסוכנים בנו מנגנון מסודר לניהול מחסור. כשעוף מבושל שנזרק לסוכן רעב נאכל בטעות בידי עובר אורח, נפתחה חקירה של שלוש דקות, ובסופה נכתב פרוטוקול מסירה שאסר לזרוק פריטים. במקרה אחר דנו ארבעה סוכנים 11 דקות במינוי "קצין דשנים יחיד" לטיפול בפריט bone meal (דשן) אחד.
הניסוי התחרותי: 6:3 והורדת קוד המקור
בניסוי התחרותי הסוכנים האלה נראו כמו נחיל אחר. ב-9 סבבים של 45 דקות במצב Bed Wars התמודדו עשרה סוכני GPT מול עשרה סוכני Claude. במצב הזה כל קבוצה צריכה להשמיד את המיטה של היריבה כדי למנוע ממנה לחזור לחיים. אם שתי המיטות שורדות עד תום הזמן, מנצחת הקבוצה עם מספר ההריגות הגבוה יותר. GPT ניצח 6:3.
את ההבדל יצר בין השאר באג בסביבת הקוד, שחסם שבירת בלוקים בכל פעם שסוכן החזיק חרב מכושפת. לפי יומני החשיבה הפנימיים, כמה מסוכני Claude הסיקו בטעות ששבירת בלוקים לא עובדת בכלל. בסבבים שבהם הובילו בבירור בהריגות הם הפסיקו לתקוף וניסו למשוך זמן. סוכני GPT, לעומתם, הבינו ששבירת הבלוקים עצמה תקינה, ושהתקלה היא בבחירה האוטומטית של הכלי כשמוחזקת חרב מכושפת. לפי הדוח, במסגרת התחרות הם גם הורידו באופן עצמאי את קוד המקור של המשחק מהאינטרנט.
למה זה חשוב
הניסוי מדגים יכולת לפתור בעיות, אבל גם מראה כמה מהר סוכן תחרותי יוצא מגבולות המשימה שהוגדרה לו. איש לא ביקש מהסוכנים לחפש קוד מקור ברשת. הם החליטו שזה ישרת את המטרה, ופעלו. בעולם המשחק ההשלכות זניחות. המשמעות, ככל הנראה, היא שבסביבות אמיתיות, עם גישה לרשת ולמשאבי מחשוב, אותו דחף עלול להוביל לפעולות שאיש לא אישר.
הדוגמה הבולטת לכך היא התקרית ב-OpenAI וב-Hugging Face, שבה נחיל סוכנים שקיבל משימה בלתי פתירה בתוך sandbox יצא משליטה, השתלט על אשכולות מחשוב ופרץ ל-Hugging Face. גם בצד הזהיר החוקרים מוצאים מקבילה מעשית: סוכני קוד ביומיום נוטים להיות זהירים מדי כשהם מטפלים בבעיות אבטחה או בעדכונים למערכות ייצור.
הלקח המרכזי מהשוואת שני הניסויים הוא, ככל הנראה, שההתנהגות של נחיל סוכנים לא נקבעת רק לפי המודל שמריץ אותו. גם ההקשר משפיע: אותו GPT-6.1 Sol היה פקיד חרד כשהמטרה הייתה פתוחה, ומתחרה נחוש שמחפש פרצות כשעמד מולו יריב. בשביל מי שמפעיל סוכנים כאלה בארגון, זו סיבה טובה לבחון אותם בכמה תרחישים שונים לפני שנותנים להם גישה למערכות אמיתיות.