Linum פרסמה את P-JiT: מודל טקסט-לתמונה שמתואר כמי שאומן ב-21 אלף דולר

חברת Linum פרסמה את P-JiT (קיצור של Pyramid-JiT), מודל טקסט-לתמונה בארכיטקטורה חדשה. לפי הפוסט הטכני של החברה, המודל מגיע לציון האיכות של קודמו, Linum v2, אחרי פי 11.3 פחות דוגמאות אימון. הקוד והמשקולות זמינים ברישיון Apache 2.0. הגרסה שעלתה ל-Hugging Face, בשם pjit-21k, מתוארת כמודל שאומן ב-21 אלף דולר. הנתון הזה לא מופיע בחלק מהפוסט הטכני שעמד לרשותנו, ולכן יש לקרוא אותו כטענה שלא אומתה.

למה חברת וידאו מתעסקת בתמונות

המטרה המוצהרת של Linum היא כלי אנימציה זולים, והחסם המרכזי לפי החברה הוא מנגנון ה-attention, החלק במודל שעלותו תלויה במספר הטוקנים (יחידות המידע) שהוא מעבד. בפוסט מובאת דוגמה: סרטון קצר של חמש שניות ב-720p עלה ב-Linum v2 כ-110 אלף טוקנים. לשם השוואה, החברה כותבת ש-LLM מתאמן על הקשרים של 8,000 טוקנים או פחות ב-97% ממשטר האימון שלו. כדי לעמוד ביעד שלה, Linum אומרת שעליה להוריד את עלות יצירת הווידאו בסדר גודל שלם.

בדרך למודל הווידאו הבא, Linum v3, החברה משתמשת ביצירת תמונות כמגרש ניסויים לרעיונות שמקצרים את רצף הטוקנים. ההיגיון שלה: מודלי וידאו נבנים בדרך כלל כהרחבה של מודלי תמונה, ועליהם ללמוד קודם "שמות עצם" (אנשים, מקומות וחפצים) ורק אחר כך "פעלים" (תנועה ופעולה).

מה השתנה בארכיטקטורה

בשלב קודם ויתרה החברה על ה-VAE, הרכיב שדוחס תמונה לייצוג מקוצר לפני היצירה, ועברה לעבודה ישירה על פיקסלים. כך, לדבריה, עברה מתקרה מעשית של דחיסת טוקנים ביחס 16x16 ל-32x32. המודל שנבנה על הבסיס הזה, JiT-DDT, השיג תוצאות טובות יותר מקודמו והתאמן מהר פי 3.6, אבל מבנה ה-encoder-decoder שלו העלה שאלה לא פתורה: כיצד לחלק תקציב פרמטרים קבוע בין שני החלקים.

P-JiT מוותר על החלוקה הזו. זהו מודל decoder-only שחוזה את תמונת היעד בכמה רזולוציות לאורך גוף המודל. החברה מקבילה את זה לעולם השפה, שבו מודלי decoder-only בסגנון GPT הוכיחו את עצמם כקלים להגדלה, משום שאין בהם צוואר בקבוק ארכיטקטוני מובנה.

המספרים, ומה לא יודעים עליהם

המדד שבו בחרה Linum הוא FD-DINOv2, שמשווה בין אוסף תמונות שנוצרו לאוסף תמונות אמיתיות; ציון נמוך יותר הוא טוב יותר. בגרף שפרסמה החברה P-JiT מגיע ל-27.9, לעומת 39.1 של JiT-DDT ו-79.9 של Linum v2. הציון של תמונות אמיתיות מול תמונות אמיתיות אחרות הוא 25.4, ולפי החברה זהו גבול תחתון גס לציון שמודל יכול לצפות לו במדידה הזו.

יש כאן כמה הסתייגויות. המדידה נעשתה על 30 אלף תמונות ברזולוציה של 256x256, מול מאגר ייחוס של תמונות מאותו תחום, והחברה היא שערכה אותה. מ-Linum v2 שרדו רק ארבע נקודות ביקורת, כך שהעקומה שלו מתחילה ב-117 מיליון דוגמאות, והקווים בין הנקודות הם אינטרפולציה. הכתבה מבוססת על הפרסום של Linum בלבד, ולא נערכה הערכה עצמאית של איכות התמונות.

החברה עצמה מגדירה את הפרסום כתוצר מחקרי ולא כשחרור מלא של מודל, ומבטיחה נקודות ביקורת מחקריות נוספות בדרך ל-Linum v3.

למה זה חשוב

אם התוצאות יחזיקו גם במדידות חיצוניות, המשמעות היא ככל הנראה ששינוי ארכיטקטורה יכול לחסוך חלק ניכר מכמות נתוני האימון, ולא רק הוספת כוח מחשוב. זה רלוונטי במיוחד לחברות קטנות שמתחרות במעבדות גדולות. המבחן האמיתי עוד לפניה: Linum עצמה מציגה את התמונות כשלב ביניים, והשאלה הפתוחה היא אם החיסכון יתורגם לווידאו, שם הבעיה יקרה בהרבה.