DeepSeek משחררת בקוד פתוח את DeepInfer, מסגרת להרצת המודלים שלה על שבבי אנבידיה ו-Huawei
חברת ה-AI הסינית DeepSeek שחררה במלואו בקוד פתוח את DeepInfer, מסגרת שפיתחה בתוך החברה כדי להריץ מודלי AI ביעילות. המסגרת מותאמת למודל DeepSeek-V4.1-Flash, ותומכת גם במעבדי Blackwell של אנבידיה וגם בחומרה של Huawei. חוקר בכיר בחברה תיאר את הפער בין AI פתוח ל-AI סגור כמאבק בין "אור לחושך".
חברת הבינה המלאכותית הסינית DeepSeek שחררה במלואו בקוד פתוח את DeepInfer, מסגרת שפיתחה בתוך החברה כדי להריץ מודלי AI ביעילות. לפי דיווח ב-South China Morning Post, הכלי פורסם ביום שלישי. הוא מותאם למודל DeepSeek-V4.1-Flash של החברה, ויכול לרוץ גם על מעבדים גרפיים (GPU) מדגם SM100 Blackwell של אנבידיה וגם על חומרה של Huawei.
לצד ההשקה, חוקר בכיר בחברה תיאר את הפער ההולך וגדל בין AI בקוד פתוח ל-AI בקוד סגור כמאבק בין "אור לחושך".
מה זו בכלל מסגרת הרצה
בעולם המודלים הגדולים (LLM) יש שני שלבים. הראשון הוא אימון: בונים את המודל ומלמדים אותו. השני הוא inference, כלומר הרצה: השימוש היומיומי במודל, בכל פעם שמישהו שולח שאלה ומקבל תשובה. האימון יקר, אבל הוא קורה פעם אחת או מדי פעם. ההרצה קורית מיליוני פעמים ביום, ולכן העלות שלה קובעת במידה רבה כמה עולה לספק שירות AI.
מסגרת הרצה היא שכבת התוכנה שמחברת בין המודל לבין החומרה. היא מחליטה איך לחלק את החישוב בין השבבים, איך לנהל את הזיכרון ואיך לטפל בבקשות רבות בבת אחת. מסגרת שבנויה היטב יכולה להוציא יותר תשובות מאותה חומרה בדיוק. לכן היא נחשבת כלי מרכזי להוזלת עלויות, וזו גם המטרה שמיוחסת ל-DeepInfer בכותרת הדיווח.
למה התמיכה בשתי פלטפורמות חשובה
השילוב בין שבבי Blackwell של אנבידיה לבין חומרה של Huawei באותה מסגרת בולט במיוחד. אנבידיה היא הספקית הדומיננטית של שבבים לעולם ה-AI, ו-Huawei מקדמת חלופה סינית מקומית. מסגרת שעובדת על שתיהן מאפשרת, ככל הנראה, למי שמריץ את המודלים של DeepSeek לבחור את החומרה לפי זמינות ומחיר, בלי להיות תלוי בספק אחד. זה רלוונטי במיוחד לחברות סיניות, שהגישה שלהן לשבבים מתקדמים מאמריקה אינה מובטחת.
הקרב על הקוד הפתוח
DeepSeek מזוהה כבר זמן רב עם הגישה הפתוחה. החברה מפרסמת את המודלים שלה כך שכל אחד יכול להוריד אותם, להריץ אותם ולשנות אותם. זה עומד מול חברות שמציעות גישה למודלים שלהן רק דרך API בתשלום, בלי לחשוף את המודל עצמו.
ייתכן שהצעד הנוכחי מרחיב את הגישה הזו מעבר למודלים עצמם. מודל פתוח עדיין צריך תשתית כדי לרוץ ביעילות, ומי שמחזיק בתשתית הזו נהנה מיתרון. כשהכלי שבו השתמשה DeepSeek בתוך החברה זמין לכולם, המשמעות היא כנראה שמפתחים, חברות וספקי ענן יכולים להריץ את מודלי החברה בעלות נמוכה יותר. כך המודלים הפתוחים הופכים לאטרקטיביים יותר מול מתחרים סגורים.
הניסוח החריף של החוקר, "אור וחושך", מבהיר שב-DeepSeek לא רואים בשאלה הזו רק עניין טכני. בעיניהם זו מחלוקת עקרונית על השאלה מי ישלוט בטכנולוגיה. האם הצעד אכן יוזיל את עלויות ההרצה בפועל, ובכמה, יתברר רק כשגורמים חיצוניים יבחנו את הכלי.