מ-7 מיליארד ל-2.4 טריליון פרמטרים: סקירה של שלוש שנים במשפחת Qwen של עליבאבא
ב-MarkTechPost פורסמה סקירה שעוברת על התפתחות Qwen, משפחת מודלי הבינה המלאכותית של עליבאבא: מצ'טבוט שנפתח בהזמנה בלבד באפריל 2023 ועד מודל open-weight בגודל 2.4 טריליון פרמטרים, שיצא באוגוסט 2026. הסקירה מפרטת את המודלים המרכזיים לפי סדר יציאתם, את התכונה הבולטת של כל אחד ואת השינויים ברישיון לאורך הדרך.
משפחת המודלים Qwen של עליבאבא התחילה באפריל 2023 כצ'טבוט שהגישה אליו ניתנה בהזמנה בלבד. באוגוסט 2026 היא כבר כללה מודל open-weight בגודל 2.4 טריליון פרמטרים. כך עולה מסקירה שפורסמה ב-MarkTechPost, שעוברת על ההיסטוריה של Qwen מודל אחר מודל: לכל אחד מהמודלים המרכזיים היא מציינת את התכונה הבולטת שלו ואת השינויים ברישיון השימוש, ולכל טענה מצורף קישור למקור.
מצ'טבוט סגור למשקולות פתוחות
כותרת הסקירה מסכמת את המסלול: "מ-7B ל-2.4T", כלומר ממודל של 7 מיליארד פרמטרים למודל של 2.4 טריליון. פרמטרים הם הערכים המספריים שהמודל לומד במהלך האימון. מספר הפרמטרים לא מבטיח איכות, אבל הוא מדד מקובל לגודל של מודל ולמשאבי המחשוב שנדרשים כדי לאמן ולהריץ אותו.
כדאי לשים לב גם למונח open-weight. מודל כזה מפורסם יחד עם המשקולות שלו, כלומר הפרמטרים המאומנים עצמם. מפתחים, חברות וחוקרים יכולים להוריד אותו, להריץ אותו על שרתים משלהם ולהתאים אותו לצרכים שלהם. זה לא בהכרח open source במובן המלא, כי נתוני האימון וקוד האימון לא תמיד מתפרסמים. מה שמותר לעשות בפועל עם המשקולות נקבע ברישיון, ולכן הסקירה מקדישה מקום מיוחד לשינויים ברישיונות של Qwen לאורך השנים.
גם את המעבר מגישה בהזמנה בלבד למשקולות זמינות להורדה כדאי לציין. ככל הנראה הוא משקף שינוי באסטרטגיה של עליבאבא, ממוצר צרכני מבוקר לאסטרטגיה שבה המודל עצמו משמש כלי להפצה ולבניית קהילת מפתחים.
כמה מודלים בדיוק?
משתמש ברדיט שפרסם מיפוי משלו של השחרורים המרכזיים מספר 44 מודלים מ-Qwen-7B ועד מודל ה-2.4T. את המספר הזה לא הצלחנו לאמת בחומר המקושר שבידינו, ולכן כדאי להתייחס אליו כהערכה של המשתמש. מכל מקום, גם בלי ספירה מדויקת התמונה ברורה: בתוך קצת יותר משלוש שנים הוציאה עליבאבא מודלים רבים, בגדלים שונים ולמטרות שונות.
למה זה חשוב
הסקירה של Qwen היא בעצם סקירה של תקופה שלמה בתעשיית הבינה המלאכותית. זה לא אומר שמודל ה-2.4T של Qwen הוא "המודל הטוב ביותר". אבל אם חברה כמו עליבאבא משחררת משקולות של מודל בגודל של טריליוני פרמטרים, המשמעות היא ככל הנראה שהפער בין מודלים סגורים, שזמינים רק דרך API של החברה שמפעילה אותם, לבין מודלים שכל אחד יכול להוריד, מצטמצם לפחות מבחינת היקף.
לקוראים בישראל, ובמיוחד לסטארט-אפים ולצוותי פיתוח, יש לזה גם צד מעשי. מודלים פתוחים מאפשרים לבנות מוצרים בלי תלות מלאה בספק ענן אחד ובלי לשלוח נתונים רגישים לשרתים חיצוניים. מצד שני, מודל בגודל 2.4 טריליון פרמטרים מצריך תשתית חישוב משמעותית, ולכן סביר להניח שרוב הארגונים ימשיכו להשתמש בגרסאות הקטנות של המשפחה. תנאי הרישיון של כל גרסה הם הפרט שכדאי לבדוק לפני שבוחרים מודל, ולכן הפירוט שלהם בסקירה הוא כנראה החלק השימושי ביותר בה.