Runway שחררה בקוד פתוח את Praxis-1, מודל לשליטה ברובוטים שנבנה על מודל וידאו

Runway שחררה את Praxis-1, מודל AI לשליטה ברובוטים, עם משקלים וקוד מקור פתוחים תחת רישיון Apache 2.0, שמתיר גם שימוש מסחרי. כך מדווח The Decoder. החברה הציגה את המודל בסוף ספטמבר, אבל עד עכשיו נתנה גישה רק לשותפים נבחרים. לצד השחרור היא פרסמה דוח מחקר עם בדיקות ביצועים חדשות.

מווידאו לזרוע רובוטית

Runway מוכרת בעיקר ממודלי וידאו גנרטיביים כמו Gen-4.5. Praxis-1 נבנה על מודל וידאו שלמד מצילומים רגילים איך חפצים זזים ופועלים זה על זה. אחר כך כיווננה אותו החברה (fine-tuning, אימון המשך ממוקד) על סרטוני פעולות של בני אדם ועל נתוני רובוטים.

המודל מקבל תמונות ממצלמה, הוראה בטקסט ומידע על מיקום הרובוט. מהם הוא חוזה איך הסביבה תשתנה, ולפי התחזית מחשב את תנועות הרובוט. כשמגיעות תמונות חדשות, הוא מעדכן את השליטה. Runway קוראת לגישה הזאת World Action Model.

מאז ספטמבר בוחנות את המודל שלוש חברות רובוטיקה, Standard Bots, Noble Machines ו-Ultra. הן מריצות אותו על רובוט דמוי אדם, על זרוע תעשייתית ועל רובוט מחסנים בעל שתי זרועות.

המספרים

במדד RoboLab-120 של אנבידיה, שבודק בסימולציה 120 משימות של מיון, אחיזה וערימת חפצים, הגיע Praxis-1 ל-46.2% הצלחה. המודל FLUX 3 Action, גם הוא World Action Model, הגיע ל-42.9% באותם תנאים. התוצאה מציבה את Praxis-1 ראשון בקטגוריה שלו וחמישי בדירוג הכללי, אחרי שני סוכני AI ושני מודלי רובוטיקה בארכיטקטורות אחרות. Runway הריצה את כל הבדיקות בעצמה, וגורם בלתי תלוי עדיין לא אימת אותן.

החברה בדקה את המודל גם על זרוע Franka אמיתית, בעשר משימות כמו הנחת בננה על צלחת או סגירת מגירה, עשרה ניסיונות לכל משימה. Praxis-1 הצליח 88 פעמים ו-FLUX 3 Action הצליח 80 פעמים.

בבדיקה נוספת הותאם המודל לרובוט נייד עם זרוע אחיזה, זה ששימש את גוגל לפיתוח RT-1, שצילומים ממנו לא נכללו באימון המוקדם. אחרי כיוונון על כ-95 שעות של נתוני רובוט הגיע Praxis-1 לממוצע של 80% הצלחה בסימולציה, לדברי Runway. המשימות כללו בין השאר הרמת פחיות שתייה, פתיחה וסגירה של מגירות והנחת תפוח במגירה. RT-1 המקורי של גוגל השיג באותו מדד 52.4%.

כמה נתוני רובוטים עדיין צריך

אימון מוקדם על וידאו רגיל אמור לצמצם את התלות במאגרי נתונים יקרים שנאספים במיוחד לרובוטים, אבל המודל עדיין צריך נתונים כאלה. לפי דוח המחקר, ההתאמה לזרוע Franka דרשה כ-277 שעות הקלטה מהמאגר הציבורי DROID, וההתאמה לרובוט בעל שתי זרועות דרשה בין 1,400 ל-2,600 שעות. Runway השתמשה בנתוני DROID ובנתונים מרובוטים אחרים גם בשלבי אימון מוקדמים יותר. לפי The Decoder, עדיין לא ברור אם הגישה צורכת בסך הכול פחות נתוני רובוטים ממודלים דומים שלא אומנו קודם על וידאו.

מגבלות ודרישות חומרה

Praxis-1 מתבלבל לפעמים בין חפצים שנראים דומה, ועדיין אינו מתכנן בעצמו באופן אמין רצפי פעולות מורכבים. מי שרוצה שרובוט יבצע משימה רב-שלבית יצטרך ככל הנראה שכבת תכנון נוספת מעל המודל.

המשקלים זמינים ב-Hugging Face אחרי הרשמה ואישור תנאי הגישה, והקוד נמצא ב-GitHub. לצד מודל הבסיס, שדורש אימון נוסף לפני שיעבוד עם רובוט חדש, Runway מציעה גרסאות שכבר הותאמו לרובוטים מסוימים. הגרסה הרגילה דורשת GPU עם 80GB זיכרון. לפי הערכות הזיכרון של Runway, גרסה דחוסה אמורה להתאים לכרטיס RTX 5090 עם 32GB VRAM.