יזם AI מפתח סוכנים שיודעים לתכנן קדימה למצבים בלתי צפויים

דניאל הפנר (Danijar Hafner), בן 31, מקים בשכונת SoMa בסן פרנסיסקו סטארטאפ חדשה שעדיין נמצאת בשלב "stealth" — כלומר פועלת בסודיות ואף לא חשפה את שמה כלפי חוץ. על פי כתבה ב-MIT Technology Review, המשרד כמעט ריק מריהוט, אך לאורך המרכז שלו תלויים על מתקנים רובוטים הומנואידים בגדלים וצורות שונות, אותם מייבא הפנר מסין.

הפנר מתאר את המיזם כהמשך ישיר לעבודת המחקר שלו, שמטרתה לאפשר לבינה מלאכותית להתמודד עם סביבות שלא נתקלה בהן באימון. לגישתו, זהו תנאי הכרחי לשילוב רובוטים בסביבות אנושיות: רובוט שנשלח לביתו של אדם צריך להתמודד עם תוכנית רצפה וסידור רהיטים שמעולם לא ראה.

השיטה שעליה מבוסס הפיתוח נקראת model-based reinforcement learning (למידת חיזוק מבוססת מודל). הפנר בונה "world models" — מודלים שנועדו לחקות את המציאות הפיזית — ומאמן בתוכם סוכני AI. הסוכן מתייחס למודל כאל סימולציה של העולם האמיתי, לומד לפעול בתוכו, ולאחר מכן משתמש בניסיון הזה כדי לחזות תוצאות עתידיות — הפנר עצמו מכנה זאת "לחלום" או "לדמיין". כך, לפי הכתבה, מסוגלים הסוכנים והרובוטים המבוססים עליהם להתמודד עם מצבים לא מוכרים בעולם האמיתי, ולכאורה בלי להזדקק לתהליכי ניסוי וטעייה ארוכים בעולם הפיזי, שנהוגים בדרך כלל בפיתוח רובוטיקה.

הפנר גדל בעיירה כפרית בצפון-מזרח גרמניה, בן להורים שהם מוזיקאים קלאסיים, ולמד תכנות משכן. בתיכון החל ללמוד קורסים מקוונים בבינה מלאכותית, תחום שהפך עבורו לתשוקה מרכזית. ב-2015, כסטודנט לתואר ראשון בהנדסה במכון הסו פלאטנר בפוטسדם, התקבל כחוקר סטודנט בגוגל ברֵיין (Google Brain), ומשם המשיך לתריסר התמחויות ותפקידים נוספים בחברה, כולל בגוגל ברֵיין ובגוגל דיפמיינד (DeepMind) — שתי היחידות שמאז התמזגו — בבריטניה, קנדה וארצות הברית. במסגרת זו עבד עם חוקרים בכירים בתחום, ובהם ג'פרי הינטון (Geoffrey Hinton), המכונה לעיתים אחד מ"אבות ה-AI", ואשיש וסוואני (Ashish Vaswani), שותף לכתיבת המאמר "Attention Is All You Need", שהציג את טכנולוגיית ה-transformer העומדת בבסיס מודלי השפה הגדולים של היום.

טימותי ליליקראפ (Timothy Lillicrap) מגוגל דיפמיינד, שהיה בעבר מנהלו ושותפו למחקר, אמר עליו: "אני נחשף לאנשי מחקר חכמים מאוד בגוגל, והוא בקלות בין חצי האחוז המובילים... במקרים רבים הוא היה בונה, לבדו, דברים שהיו דורשים צוותים שלמים של מהנדסים".

לאורך השנים בחן הפנר את הגישה שלו באמצעות הפעלת סוכנים שאומנו בתוך ה-world models שלו מול משחקי וידאו פופולריים. הפריצה הראשונה שלו הייתה PlaNet, מודל שאיפשר לסוכנים לבצע פעולות תוך תכנון מראש. Dreamer 2 היה הסוכן הראשון שהגיע לרמת ביצועים אנושית במשחקי Atari 2600 באמצעות world model. Dreamer 3 היה הראשון שפתר את אתגר ה"Diamond" במיינקראפט — כרייה עצמאית של יהלומים במשחק. ו-Dreamer 4 התקדם צעד נוסף ולמד לכרות יהלומים ממאגר נתונים לא מקוון של הקלטות משחק, בלי אינטראקציה ישירה עם המשחק כלל.

לאחרונה, לפי הכתבה, החל הפנר להעביר את הסוכנים שלו מהעולם הווירטואלי אל תוך רובוטים פיזיים — שלב שהופך את המחקר התיאורטי לניסיון ממשי לבנות רובוטים שיוכלו לפעול בבתים ובסביבות אנושיות אחרות. שם הסטארטאפ ופרטי המימון שלה לא נחשפו נכון לפרסום הכתבה.