DeepSeek משחררת בקוד פתוח את DeepInfer, מנוע ההסקה שמפעיל את המודלים שלה
לפי דיווח ב-Crypto Briefing, מעבדת ה-AI הסינית DeepSeek שחררה ב-20 באוקטובר 2026 את DeepInfer, מסגרת ההסקה שמריצה את המודלים שלה ב-production, ברישיון Apache-2.0. לצד המסגרת שוחרר כלי בשם deepseek-recipe להמרת טקסט לטוקנים ובחזרה. נכון לעכשיו לא אימתנו את השחרור מול ערוץ רשמי של DeepSeek.
מעבדת ה-AI הסינית DeepSeek שחררה בקוד פתוח את DeepInfer. זו מסגרת הסקה (inference), כלומר התוכנה שמריצה מודל שכבר אומן ומפיקה ממנו תשובות. לפי דיווח באתר Crypto Briefing, השחרור יצא ב-20 באוקטובר 2026 ברישיון Apache-2.0, רישיון open source מתירני שמאפשר גם שימוש מסחרי. לפי הדיווח, זו אותה מסגרת שמריצה את המודלים של החברה ב-production, ובהם DeepSeek-V4.1-Flash.
הערת מערכת: הידיעה הגיעה אלינו דרך דיון בפורום r/LocalLLaMA, והפרטים שבה לקוחים מהדיווח ב-Crypto Briefing. נכון לכתיבת שורות אלה עוד לא אימתנו אותם מול הודעה רשמית או מאגר קוד של DeepSeek.
מה יש בתוך DeepInfer
לפי הדיווח, המסגרת נבנתה במיוחד עבור מודלים של DeepSeek. היא כוללת כמה רכיבים שמטרתם להאיץ את ההסקה ולהוזיל אותה:
- Custom kernels: שגרות קוד בדרגה נמוכה שנכתבו כדי להפיק יותר ביצועים משבבים מסוימים.
- מקביליות מבוזרת (distributed parallelism): חלוקת העומס של מודל אחד בין מעבדים רבים, כולל MoE expert parallelism. זו שיטה שמתאימה למודלים מסוג mixture-of-experts, שמנתבים כל שאילתה רק לחלק מתתי-הרשתות המתמחות שלהם ולא מפעילים את כל המודל.
- Speculative decoding: המודל מנחש מראש כמה טוקנים קדימה ואז מאמת אותם. כשהניחוש נכון, הפלט מגיע מהר יותר.
- תמיכה ב-structured output: שמירה על פלט בפורמט צפוי, למשל JSON תקין.
לפי הדיווח, המסגרת מותאמת לשתי משפחות חומרה: מעבדי SM100 של אנבידיה ושבבי Ascend 950 של וואווי. היעד העיקרי שלה הוא הסקה offline, כלומר עיבוד של כמויות גדולות בלי משתמש שממתין בזמן אמת, עם דגש על תפוקה גבוהה.
המספרים
Crypto Briefing מביא נתוני ביצועים שמיוחסים ל-V4.1-Flash: תפוקה של 155 טריליון טוקנים ביום לכל cluster ושיעור פגיעה של 96% ב-input cache. שיעור גבוה כזה מעיד ככל הנראה שרוב ההקשר הנכנס מוגש מהזיכרון ולא מחושב מחדש. לפי אותם נתונים, הזמן הממוצע עד הטוקן הראשון עומד על כ-400 מילישניות, וקצב הייצור הוא 230 טוקנים בשנייה ועד 300 טוקנים בשנייה במשימות קוד. חשוב לציין שאלה נתונים שמסרה החברה, ולא ראינו להם מדידה בלתי תלויה.
deepseek-recipe: אותם טוקנים כמו ב-API
יחד עם המסגרת שוחרר כלי נלווה בשם deepseek-recipe, שתפקידו לקודד טקסט לטוקנים ולפענח אותם בחזרה. לפי הדיווח, הוא תוכנן להתנהג בדיוק כמו הלוגיקה של ה-API הרשמי של DeepSeek. לכך יש משמעות מעשית: אם מודל שמריצים בשרת עצמאי מפרק טקסט לטוקנים אחרת מהשירות הרשמי, התוצאות עלולות להיות שונות בדקויות. כלי אחיד אמור לצמצם את הפער הזה.
למה זה חשוב
המרוויחים הישירים הם מפתחים וחברות שרוצים להריץ מודלים של DeepSeek על החומרה שלהם. לפי הדיווח, השחרור מוצג כדרך להוריד עלויות חישוב וצריכת אנרגיה בפריסות AI בהיקף גדול. הוא מצטרף לשורה של פרויקטים פתוחים שהחברה פרסמה בעבר, ובהם מודלים וספריות של אופרטורים.
יש כאן גם רובד גיאופוליטי. העובדה שהמסגרת תומכת באופן רשמי בשבב סיני של וואווי לצד החומרה של אנבידיה היא ככל הנראה איתות לכך ש-DeepSeek רואה ב-Ascend חלופה של ממש.
עם זאת, יש מגבלות. המסגרת מכוונת למודלים של DeepSeek, ולכן לא ברור עד כמה היא שימושית מחוץ לאקוסיסטם הזה. בנוסף, ההתמקדות בהסקה offline מרמזת שצוותים שבונים מוצרים רגישים לזמן תגובה יצטרכו לבדוק אותה היטב לפני מעבר.