50 סוכני AI במיינקראפט: מעבדת YC בדקה מה קורה כשנחיל סוכנים צריך לשרוד יחד
מעבדת המחקר של Y Combinator, יחד עם Olam Labs, הריצה ניסויים עם נחילים של סוכני AI במשחקים מיינקראפט ומיינדסטרי. בניסוי המרכזי, 50 סוכנים שקיבלו מטרה אחת, "לבנות ציוויליזציה משגשגת", הקימו מעין ממשלה עם פנקס קיצוב, כללים כתובים והיררכיה. אחרי שרוב מקרי המוות התרכזו בלילה הראשון, הם נעשו זהירים בהרבה.
חמישים סוכני AI הוכנסו לעולם הישרדות במיינקראפט למשך שלוש שעות, וקיבלו מטרה אחת: "Build a thriving civilization", כלומר לבנות ציוויליזציה משגשגת. בתוך הזמן הזה הם ייצרו מעין ממשלה, עם פנקס קיצוב, כללים כתובים, היתרים ומפעילים ממונים. הם החליפו כ-5,900 הודעות, ובסופו של דבר נעשו זהירים מאוד. זה אחד הניסויים שמעבדת המחקר של Y Combinator פרסמה במסגרת פרויקט שבודק נחילים של סוכני AI בשני משחקים, מיינקראפט ומיינדסטרי.
למה דווקא משחקים
לפי המעבדה, ההבנה של האופן שבו סוכנים רבים פועלים יחד היא "אחד האתגרים הדחופים ביותר ב-AI alignment", התחום שעוסק בהתאמת מערכות AI לכוונות האדם. בפוסט נכתב שנחילי סוכנים שחותרים למטרה משותפת יכולים לפתח תפקידים, היררכיות ודפוסי תיאום מורכבים. הדבר יכול להועיל מאוד, ויכול גם להיות מסוכן מאוד. לכן החוקרים מציעים לשלב בין מודלים פורמליים לבין מחקר אמפירי, שבודק אילו התנהגויות מופיעות בפועל. את הניסויים הם ערכו יחד עם Olam Labs, חברה שבונה סביבות מרובות-סוכנים עבור מעבדות AI מובילות.
מיינקראפט מתאימה במיוחד למחקר כזה. בעולם הפתוח שלה יש סכנות סביבתיות ומטרות הישרדות: איסוף מזון, בניית מחסה וחיפוש משאבים. בנוסף, המשחק כבר שימש בעבר כמגרש ניסויים ל-AI.
הכלי: harness בקוד פתוח
החוקרים לא מצאו תשתית שמאפשרת לסוכנים לשחק מיינקראפט לאורך זמן, ולכן בנו אחת ופרסמו אותה כ-open source. ב-harness הזה, כלומר מעטפת התוכנה שבתוכה הסוכן פועל, הסוכנים יכולים לצפות בעולם, לחשוב, לזכור, לבצע פעולות, לשלוח הודעות, וגם לכתוב סקריפטים ולהריץ אותם. הפרויקט שואב השראה מהמאגר Mindcraft ונבנה על כלי הסקריפטים של Mineflayer. את הלולאה המרכזית של הסוכן מריץ Pi.
Civ50: היררכיה לפי סדר אלפביתי
בניסוי שנקרא Civ50 רצו 50 סוכנים של GPT-6.1 Sol. הם קיבלו גישה לספריית סוכנים, לסביבת עבודה משותפת (sandbox) ולהודעות פרטיות. בהתחלה הפעילות הייתה ערה. הסוכנים התפזרו במפה והתמקדו בכריתת עצים, ותוך 90 שניות כרתו כמעט את כל העצים שבטווח הגעה מנקודת ההתחלה.
ההיררכיה נוצרה לפי הסדר בספריית הסוכנים. Ada, שהופיעה ראשונה ברשימה, הפכה למנהיגה בפועל. סוכנים אחרים פנו אליה לקבלת אישורים, והיא כתבה בסביבה המשותפת תוכנית התיישבות. התוכנית כללה את מיקומי המחסנים, הנחיה לא לקצור חיטה שלא הבשילה, הוראה לשמור על שתילים בגלל מחסור בעץ, וסדרי עדיפויות: מזון מתחדש, תאורה, מחסה מאבן וברזל לדלי השקיה.
המשמעות כנראה מטרידה יותר ממה שנראה בהתחלה. המנהיגות לא נבחרה לפי כישורים או לפי הצבעה. היא נקבעה לפי פרט טכני שרירותי, המיקום ברשימה.
הלילה הראשון
הלילה הראשון במשחק הביא גל של מקרי מוות. 22 מתוך 34 מקרי המוות בריצה כולה התרחשו בו. Rafe כרה פחם, ברח מזומבי ונהרג כשהזומבי השיג אותו. Vera הרגה זומבי ושלד, הפכה את העצם שנפלה מהשלד לדשן והביאה אותו לחווה. שם דיווחה שהחווה "overrun", כלומר נכבשה על ידי עכבישים, שלדים וקריפרים, וזמן קצר אחר כך נהרגה בעצמה מעכביש.
לפי המעבדה, האירועים האלה הפכו את הסוכנים לזהירים יותר באופן קבוע, ורבות מהמשימות השאפתניות שתוכננו בהתחלה ננטשו. את שאר הריצה בילו 50 הסוכנים במקלטים צפופים, תוך קיצוב של מזון שהיה בחוסר.
למה זה חשוב
הניסוי לא מוכיח דבר על מערכות בעולם האמיתי, אבל הוא ממחיש את שאלת התיאום בצורה מוחשית. אפשר להעריך שהדפוסים שנצפו, כמו היררכיה שנוצרת מסדר שרירותי, בירוקרטיה שצצה מעצמה ושינוי גורף בהתנהגות של כל הקבוצה אחרי אירוע טראומטי, הם בדיוק מה שחוקרי בטיחות רוצים להכיר לפני שנחילי סוכנים יפעלו במערכות אמיתיות. בינתיים המעבדה כבר מריצה מושבה חדשה במיינקראפט עם 25 סוכני GPT-6.1 Terra, ומשדרת אותה בשידור חי ב-Twitch.