שמועה: מודלי Qwen4 של עליבאבא יגיעו עם חלון הקשר של מיליון טוקנים
לפי פוסט ב-Reddit שמפנה ל-PR בגיטהאב, מודלי Qwen4 של עליבאבא יתמכו בחלון הקשר של מיליון טוקנים, ו-Qwen4-max יושק ב-1 בנובמבר. עליבאבא לא אישרה את הפרטים, ומדובר בדיווח לא מאומת. עם זאת, הטענה מתיישבת עם מה שכבר ידוע על מודל הניסוי שהחברה שחררה באוגוסט.
לפי פוסט שפורסם ב-Reddit, מודלי Qwen4, הדור הבא של מודלי השפה של עליבאבא, יתמכו בחלון הקשר (context window) של מיליון טוקנים. כותב הפוסט מפנה ל-PR (בקשת שינוי קוד) בגיטהאב כמקור לטענה. עם זאת, עליבאבא לא פרסמה הודעה רשמית בנושא, ולכן מדובר בדיווח שלא אומת.
באותו פוסט נטען עוד ש-Qwen4-27B לא מוזכר ב-PR, אבל צפוי להיות מוכרז באירוע Apsara של החברה בהולנד, ושמועד ההשקה של Qwen4-max נקבע ל-1 בנובמבר. גם המועדים האלה מופיעים רק בפוסט, ואין להם אישור ממקור רשמי.
מה זה חלון הקשר ולמה מיליון טוקנים זה הרבה
חלון ההקשר הוא כמות הטקסט שהמודל יכול "להחזיק בראש" בבת אחת: השאלה, המסמכים שצורפו לה והשיחה עד אותו רגע. טוקן הוא יחידת טקסט קטנה, בערך חלק ממילה. בחלון של מיליון טוקנים אפשר, בתיאוריה, להזין למודל מאגר קוד שלם או כמה ספרים עבים בפנייה אחת.
מה כן ידוע
לפי דיווח באתר הטכנולוגיה הסיני של QQ, בספטמבר הכריז ראש צוות ה-LLM החדש של Qwen, ליו דאייהנג (Liu Dayiheng), על משפחת Qwen4. המשפחה כוללת את Qwen4-Max, Qwen4-Flash, Qwen4-Plus ו-Qwen4-27B. הצוות סיפר גם על תוכנית לאמן בעתיד מודלים בהיקף של 5 עד 10 טריליון פרמטרים.
ב-10 באוקטובר פרסם חשבון ה-X הרשמי של Qwen תמונה של קפיבארה עם השאלה "big or small?" (גדול או קטן?). כמה שעות לאחר מכן הגיעה תשובה מאותו חשבון: "alright guys, let's do both!" (טוב, נעשה את שניהם). בקהילה הבינו את זה כרמז להשקה משותפת של Qwen4-27B ושל דגם הדגל Qwen4-Max. לפי הדיווח, הפרטים האלה עדיין לא אושרו רשמית. באותו דיווח מוזכרות גם שמועות שלפיהן דגימות מוקדמות של Qwen4 מתקרבות בביצועיהן ל-Fable ול-Claude Opus, אבל גם הן לא מבוססות.
הנתון שהכי רלוונטי לשמועה הנוכחית הוא Qwen3.8-Flash-Next, מודל open weights (משקלים פתוחים להורדה) שעליבאבא שחררה באוגוסט כדי לבחון את הארכיטקטורה של Qwen4. לפי הנתונים הרשמיים שמצוטטים בדיווח, יש לו 125 מיליארד פרמטרים, מתוכם כ-6 מיליארד פעילים לכל טוקן, ועוד 51 מיליארד פרמטרים של N-gram Embedding. המודל תומך באופן מובנה ב-262,144 טוקנים, ואפשר להרחיב אותו למיליון טוקנים בעזרת YaRN, טכניקה שמאריכה את חלון ההקשר מעבר לאורך שעליו המודל אומן.
המשמעות היא שמיליון טוקנים ב-Qwen4 יהיה ככל הנראה המשך טבעי של הכיוון הזה. מה שלא ברור הוא אם מדובר בתמיכה מובנית או בהרחבה בשיטה דומה. ההבדל הזה משפיע בדרך כלל על איכות התשובות בהקשרים ארוכים.
הקהילה כבר מתנסה
מפתחים עצמאיים כבר עובדים עם מודל הניסוי. פורק קהילתי של llama.cpp, כלי פופולרי להרצת מודלים על מחשב מקומי, מוסיף ל-Qwen3.8-Flash-Next מנגנון של sliding-window attention, שבו חלק משכבות המודל מתייחסות רק לקטע האחרון של הטקסט. לפי המדידות שמפרסם הפרויקט, מהירות יצירת הטקסט ירדה מ-22.8 טוקנים לשנייה בהקשר של 12 אלף טוקנים ל-15.7 בהקשר של 100 אלף. לדבריהם, קוד שהוטמן בתחילת הטקסט שוחזר במדויק גם במרחק של 100 אלף טוקנים.
למה זה חשוב
אם השמועה תתאשר, Qwen4 יצטרף לקבוצת המודלים שמציעים חלון הקשר בהיקף של מיליון טוקנים. השאלה הפתוחה החשובה יותר היא אילו מהמודלים ישוחררו עם משקלים פתוחים. Qwen4-27B עשוי להתאים להרצה מקומית, ואם גם Qwen4-Max ישוחרר כך, ארגונים יוכלו להריץ מודל דגל עם הקשר ארוך על התשתית שלהם. עד להודעה רשמית מעליבאבא, כל הפרטים האלה, כולל מועד 1 בנובמבר, הם בגדר דיווח לא מאומת.