מכרטיס כרייה ל-A100 עם 80GB: לפי דיווח, הזרקת מתח עקפה את הנעילה של אנבידיה בכרטיס CMP 170HX

כרטיס הכרייה CMP 170HX של אנבידיה יצא ב-2021 כגרסה מוגבלת של שבב ה-A100 ונועד לכריית מטבעות קריפטוגרפיים בלבד. עכשיו הוא מקבל חיים חדשים כחומרה להרצת מודלי AI. לפי דיווח שעדיין לא אומת באופן עצמאי, חוקרת השתמשה בהזרקת תקלות מתח (voltage fault injection) כדי לעקוף את נעילות החומרה של הכרטיס. התוצאה, לדבריה, היא A100 מתפקד עם 80GB זיכרון, שמהיר אפילו מה-A100 הקמעונאי.

שלב ראשון: פריצה בתוכנה

הסיפור התחיל בכלי קוד פתוח בשם CMPUnlocker שעלה ל-GitHub. לפי Wccftech, הכלי מחזיר לכרטיס את מלוא כוח החישוב של יחידות ה-SM, כלומר ליבות העיבוד של השבב. הוא גם פותח את זיכרון ה-HBM2e שאנבידיה נעלה בקושחה וברכיבי OTP, זיכרון שאפשר לכתוב אליו פעם אחת בלבד. כרטיסי 8GB יכולים להגיע ל-64GB. בטבלת התכונות של הכלי מופיע 40GB לכרטיסי 10GB, אף שבכתבה עצמה מוזכרת גם האפשרות של 80GB.

לפריצה הזו יש מגבלות לא קטנות. הכרטיס מבוסס על שבבי A100 מדרגת איכות נמוכה, ולכן חלק מערימות הזיכרון פגומות. לפי הכתבה, רוחב הפס עומד על כ-700 עד 800GB/s. חיבור ה-PCIe מוגבל ל-Gen2 x4, והכרטיס לא תומך בפורמטים FP8 ו-FP4 של הכרטיסים החדשים. גם היציבות לא מובטחת: לפי הדיווח, המחקר המקורי הצליח להפעיל באופן אמין תחת עומס רק 40GB.

השוק הגיב מהר. לפי Wccftech, הכרטיס נמכר לפני כמה שבועות בכ-100 עד 200 דולר. עכשיו מודעות ב-eBay מציעות אותו ב-1,200 עד 2,000 דולר.

שלב שני: הזרקת מתח

השיטה החדשה הגיעה לתשומת לב רחבה דרך פוסט בקהילת r/LocalLLaMA שמסכם כתיבה טכנית של חוקרת בשם קייט. המקור המלא לא היה בידינו, ולכן הפרטים שלהלן הם דיווח לא מאומת.

לפי הסיכום, כרטיס ה-8GB מגיע עם כ-80GB של זיכרון HBM על הלוח, שפשוט חסומים בנתיכים. הזרקת תקלות מתח היא טכניקה מוכרת בעולם אבטחת החומרה: משבשים לרגע את אספקת החשמל לשבב, כדי שיפספס בדיקה מסוימת, למשל בדיקת נעילה. בעזרת הטכניקה הזו קייט עקפה את נעילת הנתיכים. אחר כך, לפי הדיווח, הפעילה בין 120 ל-126 יחידות SM תקינות, לעומת 108 שאנבידיה מפעילה ב-A100. החיבורים NVLink ו-PCIe Gen4 חזרו לעבוד גם הם.

לפי המספרים שלה, הכרטיס מגיע ל-85.9 TFLOP/s בחישובי FP16, לעומת 72.5 ב-A100 קמעונאי. זה פי 1.18 בערך, עם 80GB שאפשר להשתמש בהם להסקה (inference). הנתון לא נבדק באופן עצמאי.

זה לא מוד ביתי לסוף שבוע. לפי הדיווח, התהליך דורש חיווט על לוח הכרטיס ומתקן ייעודי להזרקת תקלות (glitcher) מבוסס בקר STM32. תהליך השיבוש נמשך בין שעה ל-48 שעות לכל כרטיס. גם התוצאה לא מובטחת: באחד מעשרת הכרטיסים של קייט נשארו שלמים רק 64GB.

למה זה חשוב

הסיפור ממחיש עד כמה הביקוש לזיכרון גדול בכרטיסים גרפיים חזק היום. כמות הזיכרון היא בדרך כלל מה שקובע איזה LLM אפשר להריץ באופן מקומי. ככל הנראה, זה מה שמסביר את זינוק המחירים של כרטיס שעד לא מזמן נחשב לפסולת אלקטרונית של עידן הכרייה.

אם הממצאים יאומתו, המשמעות היא שאנבידיה מכרה שבבים מסוג A100, שחלקם כמעט מלאים, בתור מוצר כרייה מוגבל. ההגבלה נשענה על נעילות שאפשר לעקוף בחומרה. מצד שני, הדרישות הטכניות, הזמן שכל כרטיס דורש וההבדלים באיכות בין כרטיס לכרטיס מרמזים שבינתיים מדובר בהישג הנדסי של מעטים ולא בדרך זולה וזמינה לכולם לקבל A100.