Qualcomm Cloud AI 100 Ultra: כרטיס האצה של 150 וואט עם 128 ג'יגה-בייט זיכרון

קוואלקום מציגה בעמוד המוצרים שלה למרכזי נתונים את Cloud AI 100 Ultra, כרטיס האצה לעומסי AI. לפי הנתונים שהחברה מפרסמת בכותרת המוצר, הכרטיס פועל בהספק של 150 וואט, נושא 128 ג'יגה-בייט זיכרון ומציע רוחב פס של 548 ג'יגה-בייט בשנייה.

כרטיס האצה הוא רכיב שמותקן בשרת ולוקח על עצמו את החישובים הכבדים של מודלי AI, במקום המעבד הראשי. קוואלקום מוכרת לרוב הקוראים בעיקר בזכות שבבים לסמארטפונים, ולכן עצם קיומו של מוצר כזה בקטלוג מרכזי הנתונים שלה משקף את הכיוון שהחברה מנסה לפתח מעבר לשוק הטלפונים.

מה המספרים אומרים

שלושת הנתונים מספרים יחד סיפור די ברור, גם בלי מדדי ביצועים.

128 ג'יגה-בייט זיכרון הם הנתון המרכזי לעולם ה-LLM, מודלי השפה הגדולים. כדי להריץ מודל, המשקלים שלו צריכים להיכנס לזיכרון. בחישוב גס, ובלי להביא בחשבון זיכרון נוסף שנדרש בזמן הריצה, מודל בדיוק של 8 ביט תופס כג'יגה-בייט אחד לכל מיליארד פרמטרים. המשמעות היא שכרטיס בודד יכול ככל הנראה להכיל מודלים בסדר גודל של עשרות מיליארדי פרמטרים, ואולי מעבר לכך.

548 ג'יגה-בייט בשנייה הוא הקצב שבו הכרטיס קורא מהזיכרון, ובהרצת מודלי שפה זה לעתים קרובות צוואר הבקבוק. כל מילה שהמודל מייצר דורשת מעבר על חלק גדול מהמשקלים. בחישוב פשוט, קריאה של כל 128 הג'יגה-בייט אורכת כרבע שנייה. כלומר, מודל שממלא את הזיכרון כולו צפוי להגיב בקצב מתון למשתמש בודד, גם אם עיבוד של כמה בקשות במקביל יכול לשפר את התפוקה הכוללת.

150 וואט הוא כנראה הנתון שקוואלקום רוצה להבליט. כרטיסי הדגל של אנבידיה בתחום צורכים הרבה יותר חשמל, אך גם מציעים זיכרון מהיר בהרבה. ההערכה היא שהיחס בין נפח זיכרון גדול לצריכת חשמל נמוכה מכוון את המוצר להסקה (inference), כלומר להפעלת מודלים קיימים, ולא לאימון שלהם.

מה עדיין חסר

החומר שעמד לרשותנו אינו כולל מחיר, מועד זמינות, לקוחות, מדדי ביצועים או השוואה למתחרים. בלי הנתונים האלה קשה להעריך עד כמה הכרטיס תחרותי בפועל.

למה זה חשוב

חשמל וקירור הפכו לאחד האילוצים המרכזיים של מרכזי נתונים, והרצת מודלים היא עלות שחוזרת בכל בקשה של משתמש. אם הכרטיס אכן עומד במספרים האלה, הוא עשוי לעניין ארגונים שמעדיפים הרצה חסכונית של מודלים גדולים על פני מהירות מרבית. השאלה הפתוחה היא התוכנה: השליטה של אנבידיה בשוק נשענת במידה רבה גם על כלי הפיתוח שלה, וכל מתחרה צריך לשכנע מפתחים שהמעבר משתלם.