Kyutai משיקה את REKI: מודל פתוח לשליטה ברובוטים שזוכר מה עשה לפני רגע
מעבדת המחקר הצרפתית Kyutai, יחד עם Inria ו-École des Ponts, שחררה את REKI. זהו מודל VLA בגודל 2.4 מיליארד פרמטרים להפעלת זרועות רובוטיות, שעבר אימון מוקדם על נתונים ציבוריים בלבד וכולל מנגנון זיכרון זול של העבר הקרוב. לפי הדיווח, בשלושה מבחנים מחוץ להתפלגות האימון רק מודלים גדולים ממנו בערך פי שניים הצליחו יותר.
מעבדת המחקר Kyutai שחררה מודל חדש בשם REKI, שנועד לשלוט ברובוטים במשימות מניפולציה, כלומר אחיזה, הזזה וטיפול בחפצים. את המודל פיתחה יחד עם מכון המחקר הצרפתי Inria ועם בית הספר להנדסה École des Ponts. לפי הדיווח ב-MarkTechPost, יש ל-REKI שלושה מאפיינים בולטים: גודל צנוע יחסית של 2.4 מיליארד פרמטרים, אימון מוקדם (pretraining) על נתונים ציבוריים בלבד, וזיכרון "זול" של מה שהרובוט עשה זה עתה. כל המשקולות של המודל שוחררו לציבור.
מה זה מודל VLA
REKI שייך לקטגוריה שנקראת VLA, ראשי תיבות של vision-language-action, כלומר ראייה, שפה ופעולה. מודלים כאלה מקבלים תמונה מהמצלמה של הרובוט והוראה בשפה טבעית, למשל "הנח את הכוס על המדף", ומתרגמים אותן ישירות לפקודות תנועה. הרעיון הוא לקחת את היכולות שמודלי שפה ומודלי ראייה רכשו מכמויות עצומות של מידע ולחבר אותן לעולם הפיזי.
בעולם הזה הגודל משנה הרבה. מודל קטן יותר אפשר להריץ על חומרה זולה יותר, ובמקרים מסוימים גם על הרובוט עצמו, והוא מגיב מהר יותר, וזה קריטי כשזרוע מכנית צריכה להגיב בזמן אמת.
למה זיכרון חשוב לרובוט
רבים ממודלי ה-VLA מחליטים על הפעולה הבאה רק לפי מה שהם רואים ברגע הנתון. זו מגבלה מהותית: במשימה של כמה שלבים, הרובוט עלול "לשכוח" שכבר פתח את המגירה, או לא לדעת אם החפץ שהסתתר מאחורי היד שלו עדיין שם. לפי המקור, REKI נושא איתו זיכרון של העבר הקרוב שלו, ומה שמבדל אותו הוא שהזיכרון הזה זול מבחינה חישובית. ככל הנראה המשמעות היא שהמודל מקבל הקשר על מה שקרה בשניות האחרונות בלי שעלות ההרצה שלו תזנק.
התוצאות: מתחרה במודלים כפולים בגודלם
הנתון המרכזי שמדווח הוא הביצועים בשלושה מבחנים מחוץ להתפלגות האימון (out-of-distribution). אלה מבחנים שבודקים את המודל במצבים שלא ראה באימון, כמו סביבות, חפצים או משימות חדשים. לפי MarkTechPost, בשלושת המבחנים האלה רק מודלים שגודלם בערך כפול משל REKI השיגו תוצאות טובות יותר.
מבחנים כאלה נחשבים מדד חשוב בתחום, כי היכולת להכליל, כלומר להתמודד עם מצבים חדשים, היא אחד האתגרים הגדולים ברובוטיקה. רובוט שעובד רק במעבדה שבה אומן מועיל מעט מאוד בבית או במפעל אמיתי.
המשמעות: פתיחות כמדיניות
הבחירה לבצע את האימון המוקדם של המודל על נתונים ציבוריים בלבד ולשחרר את כל המשקולות מתיישבת עם הקו שבו Kyutai, מעבדת מחקר שפועלת בפריז, מזוהה מאז הקמתה: מחקר פתוח. בתחום הרובוטיקה יש לזה משקל מיוחד. איסוף נתוני הדגמה של רובוטים יקר ואיטי, וחברות רבות שומרות את מאגרי הנתונים שלהן לעצמן. מודל שאומן על נתונים זמינים לכולם מאפשר, לפחות עקרונית, לחוקרים אחרים לשחזר את התוצאות ולבנות עליהן.
לפי ההערכה, השילוב של מודל קטן יחסית, זיכרון חסכוני ומשקולות פתוחות עשוי להוריד את סף הכניסה עבור מעבדות אקדמיות וסטארט-אפים שאין להם גישה לחומרה או לנתונים של ענקיות הטכנולוגיה. עם זאת, כמו בכל תוצאה שמגיעה ממבחני ביצועים, השאלה האמיתית היא איך המודל יתפקד על רובוטים בסביבות לא מבוקרות. התשובה לכך תגיע ככל הנראה מהקהילה שתתחיל לעבוד עם המשקולות שפורסמו.