Black Forest Labs נכנסת לרובוטיקה: FLUX 3 Action הוא מודל פתוח שמנבא את הצעד הבא של הרובוט

Black Forest Labs (BFL), החברה שמאחורי מודלי יצירת התמונות FLUX, משיקה את FLUX 3 Action. זהו מודל AI פתוח שנועד לרובוטיקה. המודל רואה את סביבת העבודה של הרובוט דרך כמה מצלמות במקביל, ומנבא שני דברים: איזו פעולה הרובוט צריך לבצע עכשיו, ואיך הסביבה תשתנה בעקבותיה. המשקולות של המודל, כלומר הפרמטרים המאומנים שלו, זמינות להורדה חופשית ב-Hugging Face.

מודל וידאו שלומד לפעול

FLUX 3 Action מבוסס על FLUX 3, המודל הרב-מודאלי של החברה. "רב-מודאלי" פירושו שהמודל עובד עם כמה סוגי מידע: FLUX 3 אומן בעיקר על וידאו, וגם על תמונות ואודיו. BFL מגדירה את המודל החדש כ-world-action model. הכוונה למודל שלא רק מחליט מה לעשות, אלא גם מחזיק מעין תמונה פנימית של העולם ויכול לחזות מה יקרה בו אחרי הפעולה.

זה צעד מעניין עבור החברה, שעד כה זוהתה בעיקר עם יצירת תמונות. ככל הנראה, ההיגיון הוא שמודל שלמד מכמויות גדולות של וידאו מבין משהו על האופן שבו עצמים זזים ומגיבים. את ההבנה הזאת אפשר לנסות לתרגם לשליטה ברובוט.

ביצועים גבוהים במודל קטן

לדברי BFL, FLUX 3 Action קבע שיא בשיעור ההצלחה בטבלת ההשוואה RoboLab-120, עם 7 מיליארד פרמטרים בלבד. לפי החברה, המודל קטן ביותר מחצי מהמודל הפתוח שהחזיק קודם במקום הראשון, ורץ מהר ממנו עד פי 3.95. צריך לזכור שהנתונים האלה מגיעים מהחברה עצמה.

החברה מסבירה למה הגודל חשוב. מודלי reasoning גדולים, כלומר מודלים שמתכננים ו"חושבים" לפני שהם עונים, יודעים לתכנן היטב. לטענת BFL, הם לרוב איטיים מדי ומגושמים מדי בשביל רובוטים. רובוט שעובד בעולם האמיתי צריך להגיב בזמן אמת, ולעיתים קרובות להריץ את המודל על המכשיר עצמו (on-device) ולא בענן. לכן יעילות היא דרישה בסיסית ולא רק יתרון.

גם בעולם הדיגיטלי

BFL רואה במודל פוטנציאל גם מחוץ לרובוטיקה הפיזית. לדבריה, משחקי וידאו יכולים לשמש זירת ניסוי לניווט. בהמשך אפשר יהיה לפתח סוכנים מהירים שמפעילים מחשבים. החברה מציגה את הכיוון הזה כאפשרות עתידית, לא כיכולת קיימת.

למה זה חשוב

המשמעות העיקרית היא הבחירה בקוד פתוח. בתחום הרובוטיקה, מודלים חזקים שנשארים סגורים מגבילים את מי שיכול להתנסות בהם. מודל פתוח בגודל 7 מיליארד פרמטרים מאפשר, להערכתנו, למעבדות מחקר, לסטארט-אפים ולחובבים להריץ ולבדוק אותו על חומרה נגישה יחסית.

המהלך גם מצטרף למגמה רחבה: חברות AI מנסות להוציא את היכולות שלהן מהמסך אל העולם הפיזי, ומודלי וידאו נחשבים לאחד המסלולים לשם. השאלה אם התוצאות בטבלת ההשוואה יחזיקו גם ברובוטים אמיתיים, בסביבות פחות מסודרות ממעבדה, תוכרע ככל הנראה רק כשקהילת המפתחים תתחיל לעבוד עם המשקולות.