אנבידיה מרחיבה את Cosmos: כלים לאימון, להערכה ולפריסה של מודלי עולם

אנבידיה הודיעה על הרחבה של פלטפורמת Cosmos, המיועדת למפתחים של מודלי עולם (world models). אלה מודלים שמטרתם לעזור למערכות בינה מלאכותית פיזית, כמו רובוטים ורכבים אוטונומיים, להבין את העולם האמיתי ולדמות אותו. ההרחבה כוללת כלי אימון חדשים, נקודות שמירה (checkpoints) של מודלים לסימולציה, ותבניות עבודה מוכנות במסגרת Cosmos Data Factory. ההכרזה נעשתה במסגרת כנס GTC Berlin.

לפי אנבידיה, Cosmos מדורגת בין חמשת הראשונים בשישה לוחות תוצאות (leaderboards) שונים של מודלים פתוחים. זו טענה של החברה עצמה. ההודעה לא מפרטת באילו לוחות מדובר, ולא הוצג לדירוג אימות עצמאי.

מאיפה מגיעים הנתונים

מודל עולם צריך כמויות גדולות של נתונים מסוגים שונים: וידאו, תמונות ונתוני חיישנים. כאן נכנס Cosmos Data Factory, אוסף כלים לתיוג, למיון (curation), להעשרה ולהערכה של נתוני אימון. הכלי Cosmos Curator, שממיין מאגרי וידאו בעזרת מעבדים גרפיים (GPU), תומך עכשיו גם בקלט רב-סוגי ממספר חיישנים ובמקטעי עיבוד מתאימים.

החברה הציגה חמש תבניות עבודה (blueprints) לענן, שזמינות ב-GitHub, ב-Microsoft Azure, ב-Nebius וב-CoreWeave:

• יצירת מאגרי נתונים לרכבים אוטונומיים: מיון ותיוג של נתוני נהיגה, והוספה של דוגמאות סינתטיות לתרחישים שקשה לצלם במציאות.
• העשרת מאפייני תמונה: שינוי המראה של אובייקטים כדי לשפר חיפוש תמונות.
• יצירת וידאו של אירועים: הפיכת תמונות סטילס לסרטונים סינתטיים של אירועים נדירים או מסוכנים.
• יצירת תמונות פגמים: תמונות של פגמים במעגלים מודפסים, במתכת ובזכוכית, לאימון מודלים לבקרת איכות.
• העשרת וידאו: שינוי מזג האוויר והתאורה בצילומים קיימים בלי לשנות את מבנה הסצנה.

ההודעה מביאה כמה דוגמאות לשימוש. פורשה מובילה פיתוח של מערך נתונים משותף לנהיגה אוטונומית עבור המותגים של קבוצת פולקסווגן, באמצעות Voxel51 על Azure. לפי ההערכה, המערך יפחית עד 90% מנסיעות המבחן החוזרות ויקצר את מחזורי הפיתוח בעד 85%. חשוב לשים לב שאלה צפי ולא תוצאות שנמדדו. חברת הרובוטיקה ANYbotics יצרה יותר מ-1,500 קטעי וידאו סינתטיים כדי ללמד את רובוטי הבדיקה התעשייתיים שלה לזהות דליפות נוזלים ושינויים אחרים בין ביקור לביקור במתקן. Ultralytics אימנה מחדש את מודל YOLO שלה על תמונות אמיתיות לצד פגמים סינתטיים, ולפי ההודעה שיפרה את איתור הפגמים ואת שיעור הזיהוי שלהם.

אימון, כיווץ ופריסה

אנבידיה מרחיבה גם את Cosmos Framework, מסגרת פתוחה ומודולרית של כלים לאימון ולאופטימיזציה, ומציעה את הכלים שלה גם כ"כישורים" (skills) שסוכני בינה מלאכותית יכולים להפעיל. מפתחים וסוכנים יכולים להתאים מודלים פתוחים כמו GR00T, Alpamayo, QWEN, Pi0.5 ומודלים תואמים נוספים מ-Hugging Face באמצעות fine-tuning (כוונון עדין) ולמידת חיזוק. אחר כך אפשר לכווץ את המודלים בעזרת distillation (זיקוק) ו-quantization (הקטנת דיוק המספרים) ולהריץ אותם בפריסה.

מעבדת הרובוטיקה MicroAGI אימנה את Cosmos 3 על סרטונים של בני אדם שמתפעלים חפצים. לפי אנבידיה, המעבדה זיקקה את מודל ההסקה של 32 מיליארד פרמטרים לגרסת Nano של 8 מיליארד פרמטרים, בלי לאבד דיוק. גם את הטענה הזו מביאה אנבידיה בעצמה. בפלטפורמה Roboflow אפשר לתייג נתונים ולהמשיך לאמן את Cosmos 3 למשימות ולסביבות ספציפיות, ואז להריץ את המודל במפעלים ובמחסנים.

לבדוק בסימולציה לפני הכביש

החברה הציגה גם גרסאות Nano חדשות של Cosmos 3 לסימולציה. הן מאפשרות לבדוק מדיניות פעולה (policies) של מערכות אוטונומיות בתרחישים שאפשר לחזור עליהם, עם כמה זוויות מבט וכמה חיישנים. בעזרת הקוד המצורף אפשר לאמן ולהעריך מדיניות לרכבים אוטונומיים ולרובוטים דו-ידניים בסימולציה אינטראקטיבית, לפני שבודקים אותם בעולם האמיתי.

למה זה חשוב

הצוואר הצר של רובוטיקה ונהיגה אוטונומית הוא בדרך כלל לא המודל עצמו, אלא הנתונים והבדיקות: קשה ויקר לצלם תאונות, דליפות או מזג אוויר קיצוני, ומסוכן לבדוק מערכת חדשה ישר בשטח. נראה שאנבידיה מנסה למכור פתרון מלא לכל השלבים האלה, מהכנת הנתונים ועד הסימולציה, כשהתמיכה במודלים של גורמים אחרים, למשל Qwen של עליבאבא, מרחיבה את קהל המשתמשים. הכלים פתוחים, אבל הם בנויים סביב המעבדים הגרפיים של החברה. לכן קרוב לוודאי שאנבידיה מעוניינת בעיקר בכך שהשוק הזה ימשיך לרוץ על החומרה שלה. ומה שעדיין חסר: אישור עצמאי לטענות על הדירוג ועל הביצועים.