בנושא: attention

מחקר חדש: sliding window attention עשוי להחליף attention ריבועי בלי אימון מחדש

מחקר חדש של אלכסיה ז'וליקר-מרטינו ושותפים, שעלה לתשומת לב הקהילה דרך פורום r/LocalLLaMA, טוען שניתן להחליף את מנגנון ה-attention הריבועי הסטנדרטי במודלי שפה ב-sliding window attention בשילוב attention sinks — בלי לאמן את המודל מחדש. אם הטענה תעמוד במבחן, יש לכך פוטנציאל השפעה על הרצת מודלי שפה מקומיים במחשבים עם משאבי זיכרון מוגבלים.