Runway משיקה את Praxis-1: מודל וידאו בגודל 27B שמשמש גם לשליטה ברובוטים

חברת Runway, שמוכרת בעיקר בזכות כלים ליצירת וידאו באמצעות AI, נכנסת לתחום הרובוטיקה. החברה פרסמה דוח טכני על Praxis-1, שהיא מגדירה כ-"world action model". זהו מודל open weight, כלומר המשקלות שלו זמינים להורדה. הוא מבוסס על מודל הווידאו של החברה בגודל 27 מיליארד פרמטרים, ומשמש כבקר לרובוטים אמיתיים. בכל פעם שהרובוט פועל, המודל מנבא שני דברים: איך תיראה הסצנה ברגע הבא, ואיזו תנועה תביא אותה למצב הזה.

הבעיה: אין מספיק נתוני רובוטים

Runway פותחת את הדוח בבעיה מוכרת בענף. נתונים מרובוטים בעולם האמיתי נדירים, ואיסוף כמות שמספיקה לאימון מודל כללי הוא יקר. לפי החברה, יש מעבדות שפונות להפעלה מרחוק (teleoperation) ויש כאלה שפונות לצילומים מנקודת מבט של גוף ראשון. Runway טוענת שהמקור שאפשר להגדיל בקלות רבה יותר הוא וידאו רגיל, כלומר הצילומים היומיומיים שאנשים כבר מצלמים. לדבריה, מודל שלומד לנבא וידאו כזה לומד גם איך חפצים מתנהגים, איך ידיים זזות ואיך נראית משימה באמצע הביצוע שלה. על הידע הזה רובוט יכול להישען.

איך זה עובד

לפי הדוח, ל-Praxis-1 יש שלושה רכיבים:

• שלד וידאו (video backbone): מודל diffusion transformer בגודל 26.9 מיליארד פרמטרים, שמנבא את הסצנה הבאה. 17 מתוך 20 שכבות ה-feed-forward בנויות כתערובת מומחים (MoE, mixture of experts). כל שכבה כזו כוללת מומח משותף אחד ו-128 מומחים קטנים, ומתוכם כל token בוחר שמונה. כך, בכל צעד פעילים רק כ-2.8 מיליארד פרמטרים. המודל עושה שימוש ברכיבים קפואים (שלא אומנו מחדש): ה-VAE של Wan2.2 ומקודד הטקסט Qwen3.5-2B. שני הרכיבים פותחו בעליבאבא.
• "מומח פעולה" (action expert): רשת קטנה יחסית בגודל 314 מיליון פרמטרים. היא קוראת את המצב הפנימי של מודל הווידאו בזמן שהוא "מדמיין" את ההמשך, ומחשבת ממנו את התנועה הנדרשת.
• שכבות התאמה דקות לכל רובוט: הן מתרגמות את התנוחות והפעולות של כל רובוט לפורמט משותף, וכך מודל אחד יכול לשלוט בסוגים שונים של רובוטים.

בכל קריאה המודל מקבל הוראה, את הפריימים האחרונים מהמצלמות ואת התנוחה הנוכחית של הרובוט. הוא מחזיר קטע וידאו חזוי ו-1.6 שניות של פעולות, שהן 24 שורות פקודה בקצב של 15 הרץ. הרובוט מבצע את הקטע, שולח בחזרה את מה שראו המצלמות, וקורא למודל שוב.

התוצאות, לפי Runway

לפי החברה, גרסה של Praxis-1 שעברה fine-tuning על מאגר DROID מדורגת ראשונה בלוח RoboLab-120 של אנבידיה, גם בקטגוריית world action models וגם בין כל מודלי היסוד לרובוטיקה בקוד פתוח. בגרף שבדוח המודל מגיע ל-46.2% הצלחה. בין המודלים שמופיעים אחריו: FLUX 3 Action עם 42.9%, Cosmos 3 Nano עם 36.8%, π0.5 עם 28.0% ו-GR00T N1.6 עם 7.3%. חשוב לזכור שאלה נתונים שהחברה עצמה מציגה. בניסויים על זרוע Franka אמיתית Runway מסתפקת בניסוח זהיר יותר: לדבריה, שיעור ההצלחה "תחרותי" מול המודלים המובילים.

בהדגמות, המודל שולט ברובוט דו-זרועי מסוג YAM ובזרוע Franka בודדת, במשימות יומיומיות שדורשות מגע ותיאום. בין המשימות: הנחת ספל הפוך על מגש, הכנסת חפץ לקופסה וסגירת המכסה, ופינוי בקבוקים לפח וסגירת מגירה. לפי Runway, המודל מסתגל גם לרובוטים שלא הופיעו בנתוני האימון. החברה מציגה תוצאות "תחרותיות" בסביבת הסימולציה SimplerEnv של RT-1 של גוגל, ומדגימה fine-tuning על הזרוע הזולה SO-101.

למה זה חשוב

ככל הנראה, המשמעות המרכזית היא אסטרטגית. חברה שבנתה מודלי וידאו גדולים כדי ליצור תוכן מנסה להשתמש באותו נכס גם בעולם הפיזי. אם הטענות יחזיקו, זה יחזק את הגישה שלפיה מודלי עולם שאומנו על וידאו יכולים לצמצם את התלות בנתוני רובוטים יקרים. ההחלטה לשחרר את המשקלות עשויה לאפשר למעבדות מחקר לבדוק את התוצאות בעצמן. עד שזה יקרה, כדאי להתייחס למספרים כאל הצהרות של החברה ולא כאל הכרעה.