איך מריצים מודל של 3 טריליון פרמטרים על שבב עם 44 GB זיכרון: Cerebras מסבירה
חברת השבבים Cerebras פרסמה פוסט הנדסי שמסביר איך היא מפעילה מודלי חזית בגודל טריליוני פרמטרים, אף שכל שבב שלה מכיל רק 44 GB זיכרון. בדוגמה של מודל ה-open source בשם Kimi K3, החברה מחלקת את המודל בין 59 שבבים שעובדים כפס ייצור, ולדבריה מגיעה ל-1,000–2,000 טוקנים בשנייה ויותר.
חברת השבבים Cerebras פרסמה ב-22 באוקטובר פוסט הנדסי שעונה על שאלה שהחברה מספרת שהיא נשאלת לעיתים קרובות: איך מריצים מודל שהמשקולות שלו לבדן תופסות טרה-בייטים, על שבב שיש בו 44 GB זיכרון בלבד? לפי הפוסט, שכתבה שרה צ'יאנג (Sarah Chieng), החברה מפצלת את המודל בין כמה שבבים ומריצה מודלים של כמה טריליוני פרמטרים במהירות של 1,000–2,000 טוקנים בשנייה ויותר.
שבב בגודל פרוסת סיליקון
Cerebras ידועה בגישה לא שגרתית לחומרת AI: במקום לחתוך את פרוסת הסיליקון (wafer) להרבה שבבים קטנים, כמו שעושים רוב היצרנים, היא משתמשת בפרוסה כולה כשבב אחד. לפי הפוסט, כל פרוסה מדגם WSE-3T מכילה 44 GB של זיכרון SRAM על השבב עצמו. זה זיכרון מהיר מאוד, אבל קטן בהרבה מהנדרש למודלי החזית של היום.
כדי להמחיש את השיטה, החברה בחרה ב-Kimi K3, מודל open source של כ-3 טריליון פרמטרים, שבנוי מ-69 שכבות linear attention ו-24 שכבות dense. לפי הנתונים שהחברה מצטטת, המודל משיג 88.3% במבחן Terminal-Bench 2.1 (לעומת 88.8% של GPT-5.6 Sol) ו-91.2% ב-BrowseComp (לעומת 90.4%).
החשבון: 59 פרוסות
ההנחות בדוגמה: אורך בקשה ממוצע של 256 אלף טוקנים, משקולות בדחיסה (quantization) ל-4 ביט, ו-KV cache ב-8 ביט. ה-KV cache הוא הזיכרון שבו המודל שומר מידע על כל הטוקנים בשיחה. 3 טריליון פרמטרים של 4 ביט כל אחד הם כ-1.5 טרה-בייט, ובחלוקה ל-93 שכבות יוצא בערך 16 GB לשכבה.
מכאן החלוקה תלויה בסוג השכבה. שכבה dense צריכה מקום נוסף ל-KV cache, כי היא שומרת נתונים על כל טוקן בכל בקשה פעילה. לכן כל שכבה כזו מקבלת פרוסה משלה, ושאר הזיכרון מוקצה ל-cache. שכבת linear attention, לעומת זאת, שומרת מצב קטן וקבוע לכל בקשה, בלי קשר לאורך ההקשר. כך נכנסות שתי שכבות כאלה לפרוסה אחת (32 GB). התוצאה: 35 פרוסות לשכבות ה-linear ועוד 24 לשכבות ה-dense, כלומר 59 בסך הכול.
פס ייצור של טוקנים
הפרוסות מחוברות לצינור (pipeline). כל פרוסה מחזיקה שכבות שלמות, ולכן ברוב המקרים המשקולות לא זזות. בין הפרוסות עוברות רק האקטיבציות, כלומר התוצאות הביניים של החישוב, באמצעות RDMA over Ethernet, טכנולוגיה להעברת נתונים ישירה בין זיכרונות של מחשבים שונים ברשת. לפי החברה, כל מעבר כזה לוקח כ-2 מיקרו-שניות.
הפוסט עוסק גם בחשש מובן: אם טוקן צריך לעבור דרך כל הפרוסות לפי הסדר, האם רוב הפרוסות לא מחכות בטלות? לפי Cerebras, לא. הצינור מלא כל הזמן בבקשות שונות, וכל שלב מטפל בבקשה אחרת באותו רגע. כל שלב יכול גם לעבד micro-batch, קבוצה קטנה של בקשות. לכן מספר הבקשות שנמצאות בעיבוד בו-זמנית הוא בערך מספר השלבים כפול גודל ה-micro-batch. החברה מוסיפה שבסביבת הייצור השלבים קטנים בהרבה מהדוגמה ורבים יותר. היא גם מציינת את הפשרה: micro-batch קטן מאיץ כל בקשה בנפרד, וגדול מגדיל את התפוקה הכוללת.
למה זה חשוב
החידוש בפוסט הוא לא בטכנולוגיה חדשה, אלא בשקיפות לגבי אופן הפעלת מודלים ענקיים. ככל הנראה המטרה היא להפריך ספק נפוץ לגבי Cerebras: שהזיכרון המוגבל על כל שבב לא מאפשר לה להריץ את המודלים הגדולים בשוק. החשבון שהחברה מציגה מראה גם איך הארכיטקטורה של המודל עצמו משפיעה על עלות ההפעלה. שכבות linear attention, שלא צריכות KV cache גדל, מצמצמות את מספר הפרוסות הנדרש. המשמעות היא שבחירות בתכנון המודל משפיעות ישירות על כמות החומרה שהוא דורש, וזה שיקול שאנשי תשתיות עשויים לשים לב אליו יותר ויותר.