פריצת דרך בקוד פתוח: מפתח האיץ פי 12 את הרצת DeepSeek V4 Flash על מק סטודיו ביתי

מפתח תוכנה שעובד עם מחשב Mac Studio מדגם M3 Ultra בעל 512GB זיכרון מאוחד, תיאר בפוסט ב-Reddit כיצד הצליח להאיץ באופן דרמטי את מהירות התגובה של מודל השפה הסיני DeepSeek V4 Flash. לדבריו, זמן התגובה לפנייה בצ'אט, שנע בעבר בין 6 ל-20 שניות, צנח ל-1.6 שניות בלבד - שיפור המתואר בכותרת הפוסט כפי 12.

המודל רץ באמצעות פרויקט קוד פתוח בשם ds4, המכונה גם "DwarfStar", שמיועד להרצת מודלי DeepSeek על חומרת Apple Silicon. הפרויקט מתפרסם תחת חשבון הגיטהאב antirez - שם המוכר בקהילת המפתחים בעיקר כשמו של סלוואטורה סנפיליפו, יוצרו של מסד הנתונים הפופולרי Redis, אם כי המקור עצמו אינו מפרט את זהות המתחזק.

השיפור המדובר התמקד בליבות החישוב (kernels) המפעילות מנגנון המכונה "lightning indexer" - רכיב ב-sparse attention של DeepSeek V4 שאחראי, לפי התיאור, על רוב זמן העיבוד בשלב ה-prefill בהקשרים ארוכים, כלומר עיבוד הפרומפט הראשוני לפני תחילת יצירת התשובה. לפי הפוסט, בוצעו שלוש התאמות קוד עוקבות (pull requests) שהניבו יחד שיפור של 21% בזמן ה-prefill הקר (cold prefill) עבור הקשר של 64 אלף טוקנים, תוך שמירה על תוצאות זהות לחלוטין לגרסה המקורית (bit-exact) - כלומר בלי לפגוע בדיוק פלט המודל. הראשונה מבין ההתאמות מכונה "threadgroup-tiled scorer" ומתועדת ב-PR מספר 830, ולאחריה מוזכרת אופטימיזציה נוספת בשם "register-blocked K-resident scorer", אך פרטיה המלאים אינם מופיעים בקטע החומר שהובא כאן.

הסיפור ממחיש מגמה רחבה יותר בקהילת הקוד הפתוח: מפתחים עצמאיים ברחבי העולם ממשיכים לשפר תשתיות הרצה (inference) עבור מודלים סיניים כמו DeepSeek, שמפורסמים כמשקלים פתוחים (open weights) וניתנים להרצה עצמאית ללא תלות בשירותי ענן. ככל הנראה, שיפורים מסוג זה - אם יאומצו ויאומתו בקנה מידה רחב יותר - עשויים להקל על הרצת מודלי שפה גדולים במחשבים אישיים חזקים בעלי זיכרון מאוחד גדול, כדוגמת קו המוצרים Mac Studio, במקום הישענות בלעדית על שרתי ענן יקרים. עם זאת, יש לזכור שמדובר בדיווח של מפתח בודד שפורסם ברשת חברתית, ללא בדיקה או שכפול עצמאי מתועד, כך שהיקף התועלת בפועל עבור משתמשים אחרים עשוי להשתנות בהתאם לתצורת החומרה והתוכנה שבה הם משתמשים.