ארכיטקטורת JEPA של יאן לקון מורחבת למודל עולם אחד לשבעה תחומים, מפיזיקה ועד ביולוגיה

צוות חוקרים בהובלת PhAI Labs, יחד עם שותפים מסטנפורד, אוקספורד ופרינסטון, הרחיב את ארכיטקטורת JEPA שפיתח יאן לקון למודל עולם אחד. המודל, JEPA-Anything, עובד בשבעה תחומים שונים מאוד זה מזה, ובהם פיזיקה, רובוטיקה ורפואה. התוצאה הבולטת במחקר היא שילוב טיפולי לסרטן כבד שהמודל הציע. הצוות בדק אותו במעבדה, והשילוב הרג יותר תאי גידול מכל אחד מרכיביו בנפרד.

מה זה מודל עולם, ומה החידוש

מודל עולם (world model) מנסה לחזות איך מערכת תתפתח לאורך זמן, בין שמדובר ברובוט, במולקולה או במצבו הרפואי של מטופל. לפי המאמר, עד היום כל תחום נזקק בדרך כלל למודל משלו. החוקרים רוצים להראות שעיקרון משותף אחד מספיק לכולם.

JEPA, ראשי תיבות של Joint-Embedding Predictive Architecture, אינה משחזרת את המידע הגולמי, כמו הפיקסלים בתמונה. במקום זאת היא חוזה תיאור מופשט של המצב החסר או העתידי ומסננת פרטים לא רלוונטיים. לקון, זוכה פרס טיורינג, מקדם את הגישה הזו כבר שנים כחלופה למודלים שמנבאים את המילה או הפיקסל הבאים.

לטענת המחברים, ב-JEPA הרגילה יש חולשה: כל המידע נדחס לתחזית אחת, ולכן דפוסים קלים מאפילים על דפוסים קשים יותר. JEPA-Anything מפצלת את המצב החזוי לכמה רכיבים, ולכל רכיב יש מודול חיזוי משלו. אילוץ נוסף מכוון כל מודול ללמוד היבט אחר, ובסוף המודל מרכיב את התחזיות החלקיות לתמונה שלמה. החוקרים לא קבעו מראש מה כל רכיב מייצג, והתפקידים התגבשו במהלך האימון. מה שהשתנה בין תחום לתחום הוא רק אופן הכנת הנתונים.

התוצאות: שיפור ברור בדינמיקה, תמונה מעורבת ברובוטיקה

החוקרים השוו את JEPA-Anything ל-JEPA רגילה עם אותה ארכיטקטורה, אותם נתונים ואותם תנאי אימון. השיפור הבולט ביותר נמדד במערכות דינמיות. בגרסה מפושטת של המשחק Pong, עם התערבויות ממוקדות, טעות החיזוי ירדה ב-35%. בצירופי התערבויות שהמודל לא ראה באימון היא ירדה ב-13%.

לפי המחברים, המודל עקף את מודל הבסיס בכל עשר משימות המבחן, שכללו פיזיקה, רובוטיקה וחיזוי מזג אוויר. במשוואת Burgers, מבחן נפוץ בדינמיקת זורמים, הטעות ירדה כמעט בחצי בהערכה נפרדת. בחיזוי של 50 צעדים קדימה היתרון נשמר אבל הצטמק לכ-3%. המודל השיג גם את התוצאות הטובות ביותר בסימולציות של מים, קוורץ, אצטמינופן (החומר הפעיל באקמול) ובנזן, גם אחרי 100 צעדים.

בתחומים אחרים התמונה צנועה יותר. בנתוני תאים בודדים המודל זיהה סוגי תאים באמינות רבה יותר. בנתונים קליניים הוא חזה מעט טוב יותר למעלה מ-1,000 אירועי מחלה אפשריים. במשימות תמונה ההבדל היה קטן. בתכנון הליכה של רובוטים מדומים JEPA-Anything ניצחה בשתיים משלוש סביבות, ובשלישית המודל הרגיל ניצח.

מועמד לטיפול בסרטן כבד

הטענה הנועזת ביותר במחקר נוגעת לסרטן כבד. החוקרים ניתחו את התחזיות החלקיות שהמודל למד מנתונים ביולוגיים: פעילות גנים, רמות חלבונים וסריקות CRISPR. המועמד המוביל היה שילוב של IL-18, מולקולת איתות שמפעילה תאי מערכת חיסון, עם חסימה של האנזים CD73. גידולים משתמשים באנזים הזה כדי לדכא את התגובה החיסונית סביבם.

הצוות בדק את השילוב על תאי סרטן כבד שגודלו יחד עם תאי חיסון, על אורגנואידים ורקמות גידול משלושה מטופלים לכל סוג דגימה, ובעכברים. באורגנואידים ובדגימות הרקמה השילוב הרג יותר תאי גידול מ-IL-18 לבדו או מחסימת CD73 לבדה. גם תאי T ותאי NK (תאי הרג טבעיים) הראו הפעלה חזקה יותר. עם זאת, המחקר אינו קובע אם השילוב יכול להפוך לטיפול בפועל.

בניסוי אחר אימנו החוקרים את המודל על מסלולי הקפה מדומים בלי לתת לו גדלים פיזיקליים כלשהם. הדפוסים שהמודל למד התאימו כמעט במדויק לחוק השלישי של קפלר, שלפיו גופים במסלולים גדולים יותר נעים לאט הרבה יותר.

למה זה חשוב

ככל הנראה, המשמעות העיקרית היא תמיכה ברעיון שעיקרון למידה אחד יכול לשמש בסיס למודלי עולם בתחומים רחוקים זה מזה. זה עשוי לחסוך את הצורך לבנות מודל נפרד לכל תחום. עם זאת, התוצאות אינן אחידות. השיפור גדול במשוואות של זרימה פיזיקלית, צנוע בנתונים קליניים ובתמונות, ומעורב ברובוטיקה. גם הממצא בסרטן הכבד הוא בשלב מוקדם מאוד: מספר דגימות קטן וניסויים בעכברים, רחוק מניסוי קליני. ההערכה הסבירה היא שמדובר בכיוון מבטיח לגילוי השערות מדעיות, ולא בהוכחה לטיפול חדש.