יום שני, 16 בנובמבר 2026 מתעדכן אוטומטית כל שעה

בנושא

הקשר ארוך

מחקר

TokenGate: חוקרים מסטנפורד ומברקלי מציגים מודול לגיזום טוקנים שמאיץ עיבוד של הקשרים ארוכים עד פי 11.3

חוקרים מאוניברסיטת סטנפורד ומאוניברסיטת ברקלי הציגו את TokenGate, מודול שלומד אילו טוקנים אפשר להשמיט ממודלי שפה ושמשתלב במודל קיים בלי שינויים מהותיים. לדבריהם, המודול מקצר את הזמן עד הטוקן הראשון בהקשרים ארוכים פי 1.4 עד 11.3, ומפחית את שיא צריכת הזיכרון פי 1.5 עד 3.4, בלי לפגוע בדיוק. הנתונים לקוחים ככל הנראה מתקציר המחקר, ועדיין צריך לבדוק אותם מול המאמר המלא.

עסקים ותעשייה

NaiveAI משחררת את Naive-N0.5-Flash: מודל קוד פתוח עם 309 מיליארד פרמטרים והקשר של מיליון טוקנים

חברת NaiveAI פרסמה את Naive-N0.5-Flash, מודל MoE עם 309 מיליארד פרמטרים, מתוכם 15.5 מיליארד פעילים. המודל נבנה לפיתוח קוד ולמחקר AI, תומך בהקשר של מיליון טוקנים בלי שכבות full attention, והמשקולות שלו משוחררות ברישיון MIT. לדברי החברה, מודלי AI שלה היו שותפים לתכנון הארכיטקטורה של המודל עצמו.