בן אפלק מתגלה כגיק פייתון: כותב קוד, חוקר מודלי שפה ובונה על משקולות פתוחות

כשנטפליקס שילמה כ-600 מיליון דולר על חברת AI הוליוודית שהקים בן אפלק, רבים הניחו שמדובר בעיקר בצ'ופר לשם מפורסם. ריאיון חדש של אפלק ל-GQ מצייר תמונה אחרת: השחקן והבמאי מספר שהוא כותב קוד בפייתון ושלמד את היסודות הטכניים של בינה מלאכותית. לצד זאת התברר שהחברה בנתה את הטכנולוגיה שלה על מודלים בעלי משקולות פתוחות ועל מאגר נתונים שאספה בעצמה.

מאפקטים ויזואליים לטרנספורמרים

לדברי אפלק, הקוד שהוא כותב בפייתון הוא "די חרא". "תמיד אהבתי מחשבים, מאז שהייתי צעיר", סיפר בריאיון. המעבר של הקולנוע מפורמט אנלוגי לדיגיטלי הוביל אותו לחקור את תהליכי העבודה של אפקטים ויזואליים, תחום שמשתמש בלמידת מכונה כבר שנים. משם הגיע לרשתות עצביות קונבולוציוניות (convolutional neural networks), לטנזורים (המבנים המתמטיים שבהם מודלים מאחסנים ומעבדים נתונים) ולטרנספורמרים, הארכיטקטורה שעליה מבוססים רוב מודלי השפה הגדולים כיום. לדבריו הוא גם מבין את הקשר בין היכולות האלה לבין עיבוד מקבילי, כלומר חישובים שרצים במקביל על מעבדים גרפיים.

אנשי צוות בחברת אפקטים שהקים סיפרו לו על העבודה של OpenAI וגוגל בתחום יצירת הווידאו. אפלק ניצל את שמו כדי להיפגש עם בכירים בחברות האלה, ולדבריו יצא מהפגישות מודאג. הוא התקשר לשותפו מאט דיימון ואמר לו: "נדפקנו". "חשבתי לעצמי, אוקיי, אנחנו צריכים לעשות עכשיו את כל הסרטים שאנחנו רוצים, כי בקרוב זה ייגמר", סיפר.

מאגר נתונים נקי ומשקולות פתוחות

לצד החשש, אפלק זיהה לדבריו פער: "הבנתי שמדובר בטכנולוגיה מדהימה שנוצרה על ידי אנשים מדהימים, אבל לא הייתה להם המומחיות בתחום הסרטים". הוא סירב לעבוד עם חברות שמשתמשות בתוכן בלי אישור, והחליט לבנות מאגר נתונים נקי. במשך חודשים אסף הצוות נתונים באמצעות מצלמות וכלים נוספים, ובהם LiDAR, טכנולוגיית סריקה בלייזר שממפה עומק ומרחב. התוצאה, כדבריו, היא "דרך ליצור תמונות עם AI שלא נוצרה על ידי אימון על גבי העבודות של הקולגות שלי".

החברה, אינטרפוזיטיב, מעסיקה 16 עובדים: מהנדסים, ארכיטקטי דאטה, מומחי Inference (הרצת מודל מאומן כדי להפיק תוצאות) ואנשי אפקטים ויזואליים. לדברי אפלק היא "נבנתה עבור קולנוענים ואמנים, שיוכלו לדעת שהם גם שולטים בה ושהם מרגישים בנוח להשתמש בה".

בכנס של בלומברג שנערך לאחרונה חשף אפלק פרט טכני נוסף: הסטארטאפ עובד על מודלים בעלי משקולות פתוחות (open weights), כלומר מודלים שהפרמטרים שלהם זמינים לציבור. לפי הדיווח, הצוות ביצע "הפשרת משקולות" (unfreezing) והזין למודל את מאגר הנתונים העצמאי במקום המידע מהאימון המקורי. ראוי לסייג: בדרך כלל unfreezing פירושו לאפשר למשקולות להתעדכן בזמן אימון נוסף, ולא מחיקה של מה שהמודל כבר למד. לכן לא ברור עד כמה "הניקיון" מלא, וככל הנראה תידרש הבהרה טכנית מהחברה.

הטכנולוגיה כבר שימשה בסרט החדש של אפלק, Animals, שעלה לאחרונה בנטפליקס.

למה זה חשוב

המשמעות היא שקשה לראות בעסקה של נטפליקס רק מחווה לכוכב. ככל הנראה היא קנתה גישה לטכנולוגיה שנבנתה מתוך תעשיית הקולנוע, בידי מי שמבין גם את הצד היצירתי וגם את הצד הטכני. בתקופה שבה תביעות זכויות יוצרים מלוות רבים ממחוללי הווידאו, מודל שמבוסס על נתונים שנאספו באישור עשוי להיות יתרון עסקי של ממש. השאלה שנותרה פתוחה היא אם הגישה של אינטרפוזיטיב באמת מנתקת את המודל מהנתונים שעליהם אומן במקור.