כל מה שחם בעולם הבינה המלאכותית · בעברית
המהדורה שלי הפודקאסט הפיד החי בית הספר ל-AI הצטרפו לערוץ הטלגרםחברת Exo Labs טוענת כי הצליחה להשיג רוחב פס זיכרון מצטבר של 4.8 טרהבייט לשנייה באמצעות קלסטר של מחשבי Mac Studio עם שבב M5 Ultra, כשלטענתה רוחב הפס גדל באופן ליניארי עם הוספת כל מחשב. הדיווח, שעלה לראשונה בפורום r/LocalLLaMA ברשת Reddit, טרם אומת באופן עצמאי.
חברת Exo Labs, המפתחת תוכנה בקוד פתוח לחישוב מבוזר של מודלים גדולים על גבי מחשבים צרכניים, פרסמה טענה לפיה קלסטר (cluster) של מחשבי Mac Studio עם שבב M5 Ultra משיג רוחב פס זיכרון (memory bandwidth) מצטבר של 4.8 טרהבייט לשנייה (TB/s). הדיווח עלה לראשונה בפורום r/LocalLLaMA ברשת Reddit, שם עוקבים מקרוב משתמשים העוסקים בהרצת מודלי שפה מקומית (local LLM) אחרי כלים כמו זה של Exo Labs.
לפי התיאור שצורף לפוסט, רוחב הפס גדל בצורה ליניארית ככל שמצרפים עוד יחידות Mac לקלסטר - כלומר, הוספת כל Mac Studio נוספת תורמת תוספת יחסית קבועה לרוחב הפס הכולל של המערכת, בלי להיתקל בצוואר בקבוק משמעותי. זהו בדיוק סוג ההתנהגות שמפתחי תשתיות AI מחפשים: אפשרות "להרכיב" יותר חומרה ולקבל ביצועים שגדלים בהתאם, במקום שהתועלת השולית תלך ותקטן ככל שמוסיפים עוד יחידות.
מה המשמעות מבחינה טכנית
רוחב פס זיכרון הוא אחד הגורמים המרכזיים שמגבילים את המהירות שבה ניתן להריץ מודלים גדולים (inference), בפרט מודלים שלא נכנסים בזיכרון של כרטיס מסך בודד. ככל שרוחב הפס גבוה יותר, כך ניתן להזין נתונים מהר יותר אל המעבד ולקבל תשובות מהר יותר ממודל נתון. שבבי Apple Silicon מהדורות האחרונות נחשבים חזקים יחסית בפרמטר הזה בזכות ארכיטקטורת הזיכרון המאוחד (unified memory) שלהם, שמבדילה אותם ממחשבים המבוססים על כרטיס GPU נפרד עם זיכרון VRAM משלו.
הטענה של Exo Labs, ככל שתאומת, מציעה כיוון אלטרנטיבי לחברות וליחידים המעוניינים להריץ מודלי בינה מלאכותית גדולים בתשתית מקומית: במקום לרכוש כרטיסי מסך ייעודיים ויקרים, לחבר יחד כמה מחשבי Mac Studio צרכניים ולקבל כוח מחשוב מצטבר. ככל הנראה, המשמעות המעשית של הגישה תלויה בעלות הכוללת של הקמת קלסטר כזה בהשוואה לחלופות מבוססות GPU - נתון שלא פורט במקור.
חשוב להדגיש: המידע מבוסס על פרסום שעלה בפורום קהילתי ב-Reddit ומשקף טענה של Exo Labs, לא דיווח רשמי של החברה או תוצאה של מבחן עצמאי מתועד. מספר המחשבים בקלסטר, שיטת המדידה המדויקת ותנאי הבדיקה לא נמסרו בחומרים הזמינים, ולכן יש להתייחס לנתון בזהירות עד לאישוש נוסף.