Inception מציגה את Mercury 3: מודל שפה מבוסס דיפוזיה שמגיע ל-1,068 טוקנים בשנייה, לפי נתוני החברה

חברת Inception השיקה את Mercury 3, מודל שפה גדול (LLM) שבנוי על טכניקת דיפוזיה ולא על השיטה המקובלת של רוב המודלים בשוק. לפי הדיווח ב-MarkTechPost, החברה אומרת שהמודל מייצר 1,068 טוקנים בשנייה ותומך בחלון הקשר (context) של מיליון טוקנים.

לצד המהירות, Inception פרסמה גם השוואה למודלים מתחרים. לפי הטבלה שלה, Mercury 3 מקדים את GPT-6 Luna ואת Claude Haiku 5.5 ב-8 מתוך 12 מבחני ביצועים (benchmarks). צריך לסייג: גם נתוני המהירות וגם ההשוואה למתחרים מגיעים מטבלת הביצועים של Inception עצמה. אלה לא תוצאות של מבחן עצמאי. החומרים הזמינים לא מפרטים באילו מבחנים המודל ניצח ובאילו הפסיד, וגם לא את תנאי המדידה.

מה זה מודל דיפוזיה, ולמה זה מעניין

רוב מודלי השפה המוכרים הם מודלים אוטורגרסיביים: הם כותבים טקסט טוקן אחרי טוקן, משמאל לימין, וכל מילה חדשה תלויה במילים שכבר נכתבו. טוקן הוא יחידת טקסט קטנה, בערך מילה או חלק ממילה. השיטה הזו עובדת טוב, אבל היא טורית מטבעה, ולכן יש לה מגבלת מהירות מובנית.

מודלי דיפוזיה מוכרים בעיקר מעולם יצירת התמונות. הם מתחילים מ"רעש" ומשפרים בהדרגה את כל הפלט בבת אחת. כשמיישמים את הרעיון על טקסט, המודל יכול לנסח ולתקן קטעים שלמים במקביל במקום לכתוב מילה אחר מילה. זו ככל הנראה הסיבה שחברות שמפתחות מודלים כאלה שמות את המהירות במרכז.

איך לקרוא את המספרים

המספר 1,068 טוקנים בשנייה בולט, אבל בלי פרטים נוספים קשה לשפוט אותו. מהירות של מודל שפה תלויה מאוד בחומרה, באורך הקלט והפלט ובאופן המדידה. כשהנתון מגיע מהחברה שמפתחת את המודל ולא ממדידה חיצונית, צריך להתייחס אליו כטענה ולא כעובדה מוכחת.

גם לבחירת המתחרים יש משמעות. GPT-6 Luna ו-Claude Haiku 5.5 נראים כמו הגרסאות הקלות והמהירות של OpenAI ושל אנתרופיק, ולא כמו מודלי הדגל שלהן. ההשוואה מציבה את Mercury 3 בקטגוריית המודלים הזולים והמהירים. מהנתונים הזמינים אי אפשר להסיק איך הוא היה מתמודד מול המודלים החזקים ביותר בשוק.

ובכל זאת, ניצחון ב-8 מתוך 12 מבחנים, אם יאומת, אומר שהמודל לא מוותר על איכות כדי להיות מהיר. גם הנתון הזה נשען על טבלה שבחרה Inception עצמה, ולא ידוע אילו מבחנים נכללו בה ואילו נשארו בחוץ.

למה זה חשוב

לקורא שאינו מפתח, מהירות נשמעת כמו פרט טכני. בפועל היא קובעת אילו מוצרים אפשר לבנות: עוזרי קוד שמגיבים מיד, סוכני AI שמבצעים עשרות קריאות למודל ברצף, וממשקים קוליים שבהם כל השהיה מורגשת. אם מודלי דיפוזיה באמת מספקים איכות דומה במהירות גבוהה בהרבה, הם עשויים להפוך לחלופה רצינית לארכיטקטורה ששולטת היום בתחום.

השאלה הפתוחה היא אם המספרים יחזיקו מעמד במבחנים עצמאיים. עד שגורמים חיצוניים ימדדו את Mercury 3 בתנאים שקופים, נכון להתייחס לביצועים שלו כהבטחה של החברה ולא כתוצאה מאומתת.