אנבידיה מציגה את GR00T 2: רובוטים לומדים מסרטוני וידאו של בני אדם ופחות משלט רחוק

אנבידיה הציגה את GR00T 2, מודל בסיס (foundation model) חדש לרובוטיקה. המטרה שלו היא לקצר את אחד השלבים היקרים והאיטיים בפיתוח רובוטים: לימוד משימות חדשות. במקום שמהנדסים יפעילו את הרובוט מרחוק במשך שעות, המודל אמור ללמוד מסרטונים של בני אדם שמבצעים את המשימה, ולהעביר את תנועות הידיים שלהם לזרוע רובוטית. כך עולה מדוח מחקר שפרסמה החברה, כפי שדווח ב-The Decoder.

מטלאופרציה ל"דמיון"

השיטה המקובלת כיום לאימון רובוטים נקראת טלאופרציה (teleoperation): אדם שולט ברובוט מרחוק, והמערכת לומדת מההקלטות. לפי הדיווח, השיטה יקרה ואיטית, והיא מחייבת לאסוף נתונים נפרדים לכל דגם רובוט.

GR00T 2 עובד אחרת. קודמו, GR00T 1, היה מודל מסוג vision-language-action, כלומר מודל שמתרגם ישירות תמונות ממצלמה והוראות בשפה טבעית לתנועות מנוע. את המודל החדש אנבידיה מגדירה כ-world-action model (WAM): הוא מחשב בו-זמנית את התנועה הבאה וגם סרטון קצר של העתיד הקרוב. למשל, הוא חוזה איך אמורה להשתנות תמונת המצלמה כשזרוע רובוטית מרימה חפץ. הרעיון הוא שחיזוי הווידאו יאפשר להעביר רצפי תנועה בין רובוטים בעלי מבנים שונים.

המערכת אומנה על אשכול של יותר מאלף שבבי GB300, ובין השאר על כ-400 אלף שעות וידאו של אנשים שמבצעים משימות שונות כשמצלמה מורכבת על ראשם. כדי ללמד את הרובוט משימה חדשה, לדברי החוקרים מספיק שאדם ידגים אותה עם כפפות נתונים, תפסנים ייעודיים לידיים או שלד חיצוני (exoskeleton) לאצבעות. כשמשלבים את ההקלטות האלה בנתוני תנועה כלליים של רובוט היעד, המודל "מצייר" בסרטון החזוי זרוע רובוטית במקום היד האנושית, ומפיק ממנה את פקודות הבקרה המתאימות.

התוצאות: מ-10% עד 80%

בניסויי מעבדה, רובוט עם ידיים בעלות חמש אצבעות הצליח להדליק גפרור, לפרוס בננה ולזרוק חבילות על מסוע, בלי שהופעל מרחוק לצורך המשימות האלה. שיעורי ההצלחה נעו בין 10 ל-80 אחוז, תלוי במשימה. מסרטון יחיד של תנועת יד אנושית למד המודל גם לתקוע מסמרים בפטיש, בתיווך סימולציה ממוחשבת.

ב-50 משימות נבחרות שבהן המודל כבר הצליח יפה אחרי דוגמאות ספורות, פחות משלוש דקות של אימון רגיל העלו את שיעור ההצלחה מ-40 ל-95 אחוז.

למשימות הרכבה ארוכות אנבידיה משלבת את GR00T 2 עם מודל שפה ברמה גבוהה יותר, כמו GPT-6 Astra של OpenAI. מודל השפה מפרק את המשימה לשלבים, מסמן בצבעים את נקודות האחיזה בתמונת המצלמה ומפעיל שגרות עזר כשחלק נופל. כשחלקים של דגמי צעצוע פוזרו על שולחן בלי סדר, המערכת המשולבת הרכיבה אותם בלפחות 97 אחוז מהניסיונות. בלי מודל השפה ובלי כוונון נוסף (fine-tuning), הרכבת מכונית הצעצוע הצליחה ב-23 בלבד מתוך 100 ניסיונות.

לרובוטים דו-רגליים פיתחה אנבידיה גרסה מצומצמת, GR00T 2 Turbo, שמעבדת פחות פרטים בתמונה ורצה ישירות על מחשב Jetson Thor שמותקן ברובוט הדמוי-אדם. בניסויים הרובוט גרף פופקורן, פינה שולחנות וניגב נוזלים עם מגבת שמתחת לכף רגלו. המשימה האחרונה הצליחה בקצת פחות ממחצית הניסיונות.

למה זה חשוב, ומה עוד חסר

אם הגישה תבשיל, המשמעות ככל הנראה היא שאפשר יהיה לאמן רובוטים על חומר שקל יחסית להפיק, כמו הקלטות של אנשים בעבודה, במקום לאסוף נתונים יקרים לכל רובוט בנפרד. זה עשוי להוזיל ולהאיץ את פיתוח הרובוטים הכלליים, תחום שאנבידיה משקיעה בו כבר כמה שנים.

אבל החוקרים עצמם מצביעים על מכשולים משמעותיים. המודל עדיין לא מעבד נתוני חיישני מגע, ולפעמים מפספס טעויות עדינות כמו בורג שהוברג רק עד חציו. מודל השפה העליון גם מאט את העבודה מאוד: במשימת מיון אשפה, הרובוט עמד בלי לזוז כשליש מהזמן, משום שהמתין בממוצע יותר משבע שניות לכל חישוב של מודל התכנון.

השורה התחתונה: GR00T 2 מדגים כיוון מעניין ללימוד רובוטים, אבל בשלב הזה מדובר בתוצאות מחקר עם פיזור רחב בהצלחה, ולא במערכת מוכנה לעבודה אמינה מחוץ למעבדה. לפי הדיווח, גם מעבדות אחרות מחפשות דרכים ללמד רובוטים עם פחות טלאופרציה.