Kyutai משחררת את CADRE: מקודדי וידאו פתוחים שמורידים את זמן התגובה של מודלי עולם אל מתחת ל-230 מילישניות

מעבדת המחקר Kyutai שחררה את CADRE, משפחה של שבעה מקודדי וידאו (video autoencoders) פתוחים שנועדו למודלי עולם אינטראקטיביים. לפי הדיווח, מודלי עולם שנבנו על CADRE רצים ב-20 פריימים בשנייה על כרטיס H100 יחיד של אנבידיה, ומגיבים לקלט של המשתמש בתוך פחות מ-230 מילישניות.

מה זה מודל עולם, ולמה ההשהיה קובעת

מודל עולם (world model) הוא מודל AI שמייצר בזמן אמת סביבה חזותית, למשל עולם דמוי משחק וידאו, ומעדכן אותה לפי הפעולות של המשתמש. כאן ההבדל ממחולל וידאו רגיל: מחולל וידאו מפיק קטע שלם ומחזיר אותו בסוף, ואילו מודל עולם אינטראקטיבי צריך להגיב לכל לחיצה ולכל תנועה כמעט מיד. אם ההשהיה (latency) בין הפעולה לתגובה ארוכה מדי, הסביבה נחווית כאיטית ומנותקת, ואי אפשר להשתמש בה כמו במשחק או בסימולציה.

לכן המספר של פחות מ-230 מילישניות הוא לב ההכרזה. זה כרבע שנייה בין הפעולה לבין הרגע שבו התוצאה מופיעה על המסך.

איפה המקודד נכנס לתמונה

רוב המודלים הגנרטיביים לווידאו לא עובדים ישירות על פיקסלים. מקודד אוטומטי (autoencoder) דוחס כל פריים לייצוג מתמטי מצומצם, המודל המרכזי עובד על הייצוג הדחוס הזה, ובסוף המפענח (decoder) ממיר אותו חזרה לתמונה. המשמעות היא שהמקודד משפיע ישירות על המהירות ועל האיכות של המערכת כולה.

שתי מילות מפתח בתיאור של CADRE מסבירות את הכיוון:

• סיבתי (causal): המקודד מעבד כל פריים רק לפי הפריימים שקדמו לו, בלי להסתכל קדימה. זה מה שמאפשר לייצר וידאו פריים אחרי פריים בתגובה לקלט חי. מקודד שזקוק לקטע שלם לפני שהוא מפיק פלט יוסיף, ככל הנראה, השהיה מובנית.
• מבוסס diffusion: diffusion היא הטכניקה שעומדת מאחורי חלק גדול ממחוללי התמונות והווידאו הנפוצים. לפי התיאור, CADRE משתמש בה כחלק מתהליך הקידוד והפענוח.

העובדה שמדובר במשפחה של שבעה מקודדים מרמזת ככל הנראה על מגוון גרסאות. החומר שפורסם לא מפרט במה הן נבדלות זו מזו.

למה זה חשוב

מודלי עולם אינטראקטיביים הם תחום מחקר פעיל, וחלק ניכר מהעבודה בו, ככל הנראה, עדיין סגור. השחרור הפתוח של CADRE נותן לחוקרים ולמפתחים רכיב בסיסי שאפשר לבנות עליו, במקום לפתח מקודד מאפס. בנוסף, הנתון של 20 פריימים בשנייה על H100 יחיד מצביע ככל הנראה על כך שאפשר להריץ ניסויים כאלה בלי אשכול גדול של מעבדים גרפיים.

מי שירוויח מזה בעיקר הם קהילת המחקר ומפתחים שעובדים על סימולציות, משחקים וסביבות אימון לסוכני AI. למשתמש הקצה זה עוד לא מוצר. ובכל זאת, ההשהיה היא אחד המכשולים המרכזיים בדרך לעולמות וירטואליים שנוצרים בזמן אמת, ומחקר פתוח שמקצר אותה עשוי להאיץ את ההתקדמות של התחום כולו.