יעילות מודלים

TokenGate: חוקרים מסטנפורד ומברקלי מציגים מודול לגיזום טוקנים שמאיץ עיבוד של הקשרים ארוכים עד פי 11.3

חוקרים מאוניברסיטת סטנפורד ומאוניברסיטת ברקלי הציגו את TokenGate, מודול שלומד אילו טוקנים אפשר להשמיט ממודלי שפה ושמשתלב במודל קיים בלי שינויים מהותיים. לדבריהם, המודול מקצר את הזמן עד הטוקן הראשון בהקשרים ארוכים פי 1.4 עד 11.3, ומפחית את שיא צריכת הזיכרון פי 1.5 עד 3.4, בלי לפגוע בדיוק. הנתונים לקוחים ככל הנראה מתקציר המחקר, ועדיין צריך לבדוק אותם מול המאמר המלא.