סימנים ראשונים לגרסה הבאה של Qwen: בקשות משיכה עם הקידומת qwen4exp הופיעו ב-GitHub
בשני פרויקטים של open source הופיעו בקשות משיכה שמזכירות רכיב בשם qwen4exp. אחד מהם הוא RTP-LLM, מנוע ההרצה שעליבאבא מפרסמת ב-GitHub, והשני הוא llama.cpp. זה לא אישור רשמי לשחרור Qwen 4. ככל הנראה מדובר בעבודת הכנה מוקדמת לתמיכה בארכיטקטורה חדשה.
בשני מאגרי קוד פתוח ב-GitHub הופיעו בקשות משיכה (Pull Requests, PR), כלומר הצעות לשינוי קוד שמוגשות לבדיקה ולמיזוג. שתיהן מזכירות רכיב בשם qwen4exp. השם מרמז על עבודה סביב הדור הבא של Qwen, משפחת המודלים של עליבאבא. עם זאת, עליבאבא לא הכריזה רשמית על Qwen 4, והקוד לבדו לא מעיד על מועד שחרור, על יכולות המודל או על כך שהוא ישוחרר בכלל.
את תשומת הלב למאגרים משך פוסט בפורום LocalLLaMA ברדיט. הפרטים שלהלן לקוחים מבקשות המשיכה עצמן.
RTP-LLM: קוד הרצה ל-qwen4
הסימן הראשון מופיע ב-PR מספר 1681 במאגר RTP-LLM. המאגר שייך לארגון של עליבאבא ב-GitHub, ו-RTP-LLM הוא מנוע inference, תוכנה שמריצה מודלים מאומנים בשרתים. הבקשה הוגשה ב-11 בנובמבר 2026 וכותרתה "perf(qwen4): pack K/V projections and tile H20 PLE decode". הקבצים ששונו בה נמצאים תחת תיקייה בשם qwen4_exp.
מבחינה טכנית מדובר בשיפור ביצועים: בשלב שבו המודל מייצר טוקן אחרי טוקן (decode), הטלות ה-K/V של רכיב ה-PLE מחושבות בפעולת מכפלת מטריצות אחת במקום שתיים. לפי הנתונים בבקשה, בבדיקות על מאיץ H20 של אנבידיה ירד זמן ההשהיה החציוני (P50) ב-11.68% עד 16.15%, בהתאם לגודל ה-batch. אחרי השיפור הביצועים היו בטווח של 1.21% מ-vLLM, מנוע הרצה פופולרי אחר. כותב הבקשה מציין גם שהפלטים זהים ברמת הביט לגרסת הבסיס, ושחלק מה-commits נכתבו "בסיוע Codex".
llama.cpp: תמיכה בשכבת קשב חדשה
הסימן השני מגיע מ-PR מספר 32082 בפרויקט llama.cpp, הפרויקט שמאפשר להריץ מודלי שפה מקומית על מחשבים אישיים. עיקר הבקשה, שהוגשה גם היא ב-11 בנובמבר, הוא שיטה שהכותב מכנה "layer-major": במקום להעביר כל קבוצת טוקנים דרך כל השכבות, המערכת עוברת שכבה אחר שכבה. כך המשקלים של כל שכבה מועלים לכרטיס הגרפי פעם אחת בלבד. לדברי הכותב, השיטה מכפילה בערך את מהירות עיבוד הקלט (prefill) במודלי MoE שטוענים משקלים מהזיכרון הראשי. הוא גם מודה בגלוי: "This is a hack".
ברשימת ה-commits של הבקשה מופיעים כמה שינויים עם הקידומת qwen4exp, והם עוסקים במנגנון קשב (attention) שנקרא בקוד QSA. לפי תיאור ה-commits, אחד השינויים מפצל את חישוב ה-QSA לקטעים של 2,048 טוקנים כדי לחסוך בזיכרון. הבדיקות המתועדות בבקשה עצמה בוצעו על מודלים קיימים, Qwen3.8-Flash-Next ו-gemma-4-26B-A4B, ולא על מודל בשם Qwen 4.
מה אפשר להסיק, ומה לא
שני הפרויקטים מזכירים את אותו מזהה, qwen4exp. המשמעות ככל הנראה היא שעבודת תשתית לקראת ארכיטקטורה חדשה כבר מתנהלת, גם במנוע ההרצה של עליבאבא וגם באחד הכלים הפופולריים להרצה מקומית. הסיומת "exp" עשויה לרמוז על גרסה ניסיונית, אבל זו הערכה בלבד. הקוד גם חושף שמות של רכיבים, כמו PLE ו-QSA, בלי לפרט מה תפקידם המדויק במודל.
בכל זאת, קוד הכנה הוא לא הכרזה. חברות ומפתחי קוד פתוח מוסיפים לא פעם תמיכה בארכיטקטורות לפני השחרור כדי שהמודל יעבוד בכלים הנפוצים מהיום הראשון. ייתכן גם שהשמות ישתנו או שהתוכניות יידחו. עד שעליבאבא תפרסם הודעה רשמית, בקשות המשיכה האלה הן סימן לכך שמשהו בדרך, לא יותר.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות