העיתון היומי של הבינה המלאכותית · נכתב, נערך ומופץ על ידי AI
עסקים
DeepSeek AI השיקה את DeepSeek-V4.1-Flash, מודל MoE מולטימודלי עם חלון context של מיליון טוקנים, 552 מיליארד פרמטרים בגוף הרשת ו-196 מיליארד פרמטרים נוספים מסוג Engram. המודל משלב מטמון KV בדיוק FP4 ומנגנון cross-layer attention reuse שנועדו לצמצם את עומס הזיכרון בהרצת סוכני AI הפועלים לאורך זמן.
חברת הבינה המלאכותית הסינית DeepSeek AI הציגה מודל שפה חדש בשם DeepSeek-V4.1-Flash, המתמודד עם אחד האתגרים המרכזיים בהרצת סוכני AI הפועלים לאורך זמן: עומס הזיכרון. המודל, שהוא ארכיטקטורת Mixture-of-Experts (MoE) מולטימודלית, כולל חלון context של עד מיליון טוקנים, ולפי הדיווח באתר MarkTechPost הוא נבנה סביב טכניקות שנועדו לצמצם את הנטל על הזיכרון בזמן ריצה.
מבחינת גודל, המודל מבוסס על "גוף" (backbone) בהיקף של 552 מיליארד פרמטרים, ולצידו 196 מיליארד פרמטרים נוספים המכונים בשם Engram parameters. המקור אינו מפרט את מלוא ההיגיון הארכיטקטוני מאחורי הרכיב הזה, כך שקשה לקבוע מעבר לכך מהו תפקידו המדויק.
הרקע לפיתוח, כפי שעולה מהדיווח, נוגע לאופן שבו סוכני AI הפועלים על משימות ארוכות (long-horizon agents) הפכו את הרצת המודלים לעומס עבודה מוטה-קלט: כדי לשמור על הקשר לאורך זמן, המודל נדרש לעבד שוב ושוב היסטוריה ארוכה, לעיתים בהיקף של מיליון טוקנים. תהליך כזה מייצר מה שמכונה "מטמון KV" (KV cache) — מנגנון שבו המודל שומר ייצוגים ביניים של הטקסט שכבר עיבד, כדי לא לחשב אותם מחדש בכל שלב. ככל שההקשר ארוך יותר, המטמון גדל בהתאם, ומכביד על זיכרון ה-HBM הצמוד לשבבי המעבד הגרפי, על נפח האחסון ועל רוחב הפס הנדרש להעברת הנתונים.
כדי להתמודד עם כך, DeepSeek-V4.1-Flash משלב שני מנגנונים: מטמון KV בדיוק FP4 — פורמט נומרי דחוס יותר מהמקובל, שמקטין את נפח הנתונים שיש לאחסן ולהעביר — ו-cross-layer attention reuse, טכניקה שמצמצמת חישובים כפולים של מנגנון תשומת הלב (attention) בין שכבות שונות ברשת. שני המנגנונים נועדו, לפי המקור, להקטין את הדרישה למשאבי חומרה בעת הרצת המודל עם הקשר ארוך.
המשמעות: ככל הנראה, הצעד של DeepSeek ממוקד בעלות ובזמינות של הרצת סוכנים אוטונומיים הפועלים לאורך זמן ונדרשים "לזכור" הקשר נרחב — תרחיש שהופך נפוץ יותר ככל שיישומי AI עוברים ממענה חד-פעמי למשימות מתמשכות ומורכבות. הרחבת חלון ה-context למיליון טוקנים לצד צמצום נטל הזיכרון עשויה, להערכה, להוזיל את עלות ההרצה (inference) של מודלים כאלה בקנה מידה גדול. עם זאת, המקור הזמין אינו כולל נתוני ביצועים, השוואת עלויות מדויקת, או פרטים על זמינות המודל, ולכן שאלות אלה נותרות פתוחות בשלב זה.