חוקרים מסטנפורד וקאלטק חיברו את GPT-6 Astra ישירות לרובוט אנושי, והוא סידר מטבח שלא הכיר
חוקרים מסטנפורד ומקאלטק פיתחו את HomeBody, מערכת שבה מודל שפה-ראייה (במקרה הזה GPT Astra) שולט ישירות ברובוט Unitree G1, בלי שכבת בקרה מאומנת שמתווכת ביניהם. הרובוט התמצא לבד במטבח שלא הכיר, סידר אותו והוציא חפצים ממגירות. יחד עם זאת, החוקרים מציינים מגבלות: השהיה של המודל, מנועי אצבעות שמתחממים יתר על המידה ועלויות מחשוב גבוהות.
חוקרים מאוניברסיטת סטנפורד וממכון קאלטק בנו מערכת בשם HomeBody. המערכת מאפשרת לרובוט האנושי Unitree G1 להתמצא לבד במטבח שלא הכיר, לסדר אותו ולהוציא חפצים ממגירות. הרובוט פועל בלי שכבת בקרה ייעודית שאומנה במיוחד: מודל השפה-ראייה GPT Astra של OpenAI מפעיל אותו ישירות. כך דיווח האתר The Decoder.
חשוב לציין שמאחורי הניסוי עומדים חוקרים אקדמיים ולא OpenAI עצמה. המערכת נבנתה סביב המודל של החברה.
מה השתנה בארכיטקטורה
במערכות רובוטיות רבות שמבוססות על מודלי שפה יש שכבת ביניים: מודל שליטה נפרד שאומן כדי לתרגם הוראות כלליות לתנועות פיזיות. HomeBody מוותרת על השכבה הזו. במקומה, מודל שפה-ראייה (VLM, מודל שמבין גם טקסט וגם תמונה) קורא ישירות לספריית מיומנויות: אחיזה, ניווט ופתיחת מגירות. אפשר להרחיב את הספרייה ולהוסיף לה מיומנויות, ואפשר גם להחליף את המודל עצמו. בניסוי הזה המודל היה GPT Astra.
העבודה מתחילה בסיור. הרובוט חוקר את החדר, בונה ממנו "תאום דיגיטלי" (העתק וירטואלי של החלל) בסביבת הסימולציה Isaac Sim של אנבידיה, ורושם בזיכרון מרחבי אילו חפצים יש בחדר ואיפה הם נמצאים. בזכות הזיכרון הזה הוא יכול למצוא חפץ גם כשהחפץ כבר לא בשדה הראייה שלו.
כשהרובוט מקבל משימה כמו "תסדר את המטבח", מודל השפה מתכנן כל שלב בעצמו, ואם משהו משתבש, הוא מתקן את עצמו תוך כדי ביצוע.
המגבלות
החוקרים לא מציגים מוצר מוגמר. לפי הדיווח, הם מצביעים על שלוש מגבלות מרכזיות: השהיה (latency) בתגובות של Astra, מנועי סרוו באצבעות הרובוט שמתחממים יתר על המידה, ועלויות מחשוב גבוהות. הקוד של המערכת פורסם ב-GitHub.
ההקשר הרחב
זה לא המבחן הראשון שבודק את Astra בעבודה עם רובוטים. לפי The Decoder, מבחני ביצועים קודמים הראו שיפור ניכר ביכולת שלו להסיק מסקנות מרחביות. מבחן אחר, לעומת זאת, זיהה בעיות בטיחות כש-Astra שולט ברובוט. במקביל, OpenAI כבר הודיעה שהיא מתכננת לחזור לתחום הרובוטיקה, כולל רובוטים לשימוש אישי.
למה זה חשוב
אם הגישה של HomeBody תתבסס, המשמעות ככל הנראה היא שכל שיפור במודלי השפה הכלליים יתורגם כמעט ישירות ליכולות רובוטיות חדשות, בלי לאמן מחדש שכבת בקרה בכל פעם. מודל שאפשר להחליף, ספרייה שאפשר להרחיב וקוד פתוח עשויים לקצר את הדרך לניסויים של קבוצות מחקר נוספות.
מנגד, המגבלות שהחוקרים עצמם מציינים, יחד עם ממצאי הבטיחות מהמבחן הקודם, מרמזות שהדרך לרובוט שמסדר מטבח בבית אמיתי עוד ארוכה. בעיות של השהיה, חום ועלות הן בדיוק מה שמבדיל בין הדגמה במעבדה לבין מוצר צריכה.