Apertus 1.5: המודל הפתוח לגמרי מתחיל לקבל תמונות וקול, וחלון ההקשר שלו גדל פי ארבעה

צוות swiss-ai פרסם היום ב-Hugging Face את הערות השחרור של Apertus 1.5, הגרסה המעודכנת של מודל השפה הפתוח Apertus. הגרסה החדשה מבוססת על דגמי 8B ו-70B של Apertus 1.0 ומוסיפה להם הבנה של תמונות ואודיו, מצב חשיבה (thinking mode) שאפשר להפעיל לפי הצורך, וחלון הקשר ארוך פי ארבעה. לפי ההודעה, גם היכולת לציית להוראות והשימוש בכלים חיצוניים השתפרו.

המשקלות המעודכנים עלו ל-Hugging Face כבר ב-24 ביולי 2026 תחת רישיון Apache 2.0. הפרסום הנוכחי מסכם את הדוח הטכני של הפרויקט.

פתוח עד הסוף

רוב המודלים שמוצגים כפתוחים משחררים רק את המשקלות, כלומר את הפרמטרים של המודל המאומן. ב-Apertus מדגישים שגם הגרסה הזו פתוחה לגמרי: המשקלות, הנתונים, הערכים שמנחים את המודל וכל פרטי האימון. כל מקורות הנתונים מפורטים במאגר apertus-data-transparency. לדברי הצוות, כל הנתונים החדשים, כולל התמונות והאודיו, עומדים באותם תנאים כמו קודם: הם זמינים לציבור, מופצים ברישיון מתירני, ובקשות הסירוב באמצעות robots.txt מכובדות גם בדיעבד.

הצוות משחרר גם חלק מהנתונים ששימשו לשלבי האימון המאוחרים: תערובת הטקסט לשלב ה-SFT (כוונון בפיקוח) ומאגר זוגות ההעדפה ששימש ל-DPO.

איך מוסיפים ראייה ושמיעה בלי לשנות את המודל

הבחירה הטכנית המעניינת ביותר היא האופן שבו נוספו התמונות והאודיו. בדרך כלל מחברים למודל רכיב נפרד שמעבד תמונות (vision encoder). ב-Apertus בחרו בגישה שנקראת early fusion: תמונות וקול הופכים ליחידות בדידות, טוקנים, שנכנסים לאותו רצף יחד עם טוקני הטקסט.

• תמונות עוברות דרך ה-tokenizer של Emu3.5, ותמונה בגודל 512×512 הופכת ל-1,024 טוקנים.
• אודיו עובר דרך WavTokenizer, בקצב של 40 טוקנים לשנייה.

כיוון שהצוות רק הרחיב את אוצר המילים של המודל, הארכיטקטורה נשארה כפי שהייתה והאימון רץ באותה מהירות כמו אימון על טקסט בלבד. יש לזה מחיר: המודלים מבינים תמונות ואודיו, אבל מפיקים רק טקסט. ההבנה של שפה מדוברת עדיין מוגדרת ניסיונית.

טריליוני טוקנים נוספים

Apertus 1.5 הוא המשך אימון של הדור הראשון ולא מודל שאומן מאפס. דגם ה-8B קיבל 4 טריליון טוקנים נוספים של טקסט ונתונים מולטימודליים, וסך הכול הוא אומן על 19 טריליון. דגם ה-70B קיבל 2 טריליון נוספים, וסך הכול 17 טריליון. יותר ממחצית מטוקני האימון החדשים הם טקסט בלבד, כדי לשמור על היכולות הלשוניות של הגרסה הקודמת.

חלון ההקשר, כלומר כמות הטקסט שהמודל יכול להחזיק בבת אחת, הורחב בהדרגה מ-8 אלף ל-262,144 טוקנים. לאחר מכן הגיע שלב אימון בן חמישה שלבים: SFT על 3.7 מיליון דוגמאות טקסט לצד נתוני תמונה ודיבור, כוונון להקשר ארוך, למידת חיזוק (RL) על כ-350 אלף משימות שאפשר לבדוק אוטומטית אם נפתרו נכון, DPO, ולבסוף התאמה ל"אמנת Apertus", המסמך שמגדיר את הערכים והעקרונות של המודל.

המשמעות

הצוות לא מסתיר את המגבלות. לפי ההודעה, המודלים עדיין מפגרים אחרי המודלים המובילים מבין אלה שמשקלותיהם פתוחים, גם אם חל שיפור ניכר בכתיבת קוד ובציות להוראות. נראה ש-Apertus לא מתחרה בעיקר על ראש טבלאות הביצועים. הערך שלו הוא בכך שהוא מאפשר לחוקרים, לגופים ציבוריים ולחברות לבדוק בדיוק על מה המודל אומן ואיך. ההרחבה למולטימודליות בלי לוותר על השקיפות בנתונים מראה שאפשר לבנות מודל מודרני גם על נתונים ברישיון מתירני בלבד, אם כי במחיר מסוים בביצועים.