אנבידיה מציגה את Cosmos3-H-Dreams: סימולטור גנרטיבי שמדמה ניתוח כריתת כיס מרה בזמן אמת
אנבידיה חשפה את Cosmos3-H-Dreams, מודל שמייצר וידאו של ניתוח בתוך הגוף ומגיב בזמן אמת לפקודות שליטה בכלים הרובוטיים. המודל אומן על הקלטות של ניתוחי כריתת כיס מרה אמיתיים, ולדברי החברה הוא רץ באופן אינטראקטיבי על כרטיס גרפי יחיד. החוקרים עצמם מדגישים שמראה מציאותי עדיין אינו הוכחה לדיוק ביומכני.
אנבידיה הציגה את Cosmos3-H-Dreams, סימולטור גנרטיבי שמייצר וידאו של ניתוח כריתת כיס מרה (cholecystectomy). הסימולטור מגיב בזמן אמת לפקודות שמפעיל המשתמש על הכלים הכירורגיים. בהודעה שפורסמה בבלוג של Hugging Face מתארים החוקרים מצב שבו המשתמש מזיז מלקחיים, אוחז בכיס המרה ומרים אותו, והסצנה כולה נוצרת על ידי המודל תוך כדי תנועה. לדבריהם, ככל הידוע להם, זהו הסימולטור הניתוחי הגנרטיבי הראשון שפועל בזמן אמת, אומן על הקלטות של ניתוחי כריתת כיס מרה אמיתיים ומאפשר שליטה חיה בתנועת הכלים.
מהשולחן לחדר הניתוח
זו הגרסה השנייה בסדרה. הגרסה הקודמת, Cosmos-H-Dreams, נבנתה על Cosmos-Predict2.5 והדמתה תפירה על שולחן עבודה בעזרת dVRK, פלטפורמת מחקר לרובוטיקה ניתוחית. כבר אז הוצג המודל כ-world foundation model, כלומר מודל בסיס שלומד כיצד העולם מתנהג. הוא אינו בונה מודל מתמטי מפורש של הגאומטריה, של עיוות הרקמות ושל האינטראקציות הפיזיקליות, כפי שעושים סימולטורים מספריים. במקום זאת הוא לומד את הדינמיקה החזותית ישירות מווידאו שמסונכרן עם נתוני התנועה (kinematics) של הרובוט.
הגרסה החדשה לומדת מהקלטות של ניתוחים קליניים שבוצעו בפלטפורמה הרובוטית Versius של חברת CMR Surgical. לפי אנבידיה, המעבר מהשולחן אל תוך הגוף מסבך את המשימה מאוד. תנועה קטנה של כלי יכולה לשנות את הסצנה כולה: רקמה נמתחת, השתקפויות זזות, איברים מוסתרים ועשן מגביל את הראות. בנוסף, טעויות קטנות עלולות להצטבר לאורך זמן ולעוות בהדרגה את צורת הכלים או את האנטומיה.
מה יש מתחת למכסה המנוע
המודל מבוסס על Cosmos3-H-Embodied-Nano, מודל בן 16 מיליארד פרמטרים שעבר אימון מקדים על מאגר הנתונים Open-H-Embodiment. האימון התמקד בתרחישים עם שני כלים גלויים: מלקחיים מסוג Cadiere ביד שמאל וקרס חשמלי (monopolar hook) ביד ימין. המודל מקבל 28 ממדי פעולה, ובהם מיקום וזווית של שתי הזרועות, מצב האחיזה (gripper), בקרות אנרגיה וכפתורי ג'ויסטיק. האימון נעשה על וידאו ברזולוציה של 832x480, כשהפעולות מתואמות לקצב של 10 הרץ.
בשלב הראשון אומן מודל "מורה" על רצפים של 24 פריימים, ולאחר מכן על 72 פריימים, כלומר 2.4 ו-7.2 שניות. בשלב השני הועבר הידע בתהליך distillation (זיקוק) למודל "תלמיד" מהיר יותר, שמייצר וידאו בקטעים קצרים בכל פעם שמגיעות פקודות חדשות. התלמיד אומן גם על הפלט של עצמו, בשיטה שנקראת Self-Forcing, כדי לצמצם את הצטברות הטעויות. שתי גרסאות שוחררו: אחת שמבצעת ארבעה צעדי ניקוי רעש (denoising) לכל קטע, ואחת עם שני צעדים בלבד. לדברי החוקרים, הגרסה בת שני הצעדים אומנה בנפרד, והיא לא אותו מודל שהורץ עם פחות צעדים.
לדברי אנבידיה, בעזרת ספריית ההרצה FlashDreams של החברה הסימולטור רץ באופן אינטראקטיבי על כרטיס גרפי יחיד מדגם RTX PRO 6000.
למה זה חשוב
סימולטורים ניתוחיים קלאסיים מחייבים מידול ידני ומורכב של רקמות ושל פיזיקה. גישה שלומדת ישירות מהקלטות של ניתוחים אמיתיים עשויה לקצר את הדרך לסביבות אימון מציאותיות, לרובוטים ניתוחיים ואולי גם למנתחים. שימוש בהקלטות קליניות במקום בתרגילי מעבדה מרמז ככל הנראה על כוונה להתקרב לתנאים של חדר ניתוח אמיתי.
עם זאת, החוקרים עצמם מסייגים: מראה משכנע הוא "נקודת התחלה לאימות, לא הוכחה לדיוק ביומכני". סימולציה שנראית אמינה אבל לא מגיבה נכון לפקודות אינה יכולה לשמש סביבה אינטראקטיבית. לכן, לפני שמישהו יסתמך על כלים כאלה בהכשרה או בפיתוח רובוטים, יידרשו ככל הנראה בדיקות תוקף נרחבות.