OpenAI חושפת את Jalapeño, שבב ה-AI הראשון שפיתחה בעצמה

OpenAI חשפה ב-25 באוגוסט את Jalapeño, ה-AI accelerator הראשון שפיתחה בעצמה, לפי כתבה ב-IEEE Spectrum. השבב מספק עד 13.4 petaflops של חישוב ברמת דיוק 4-bit, ומחובר ל-232 ג'יגה-בייט זיכרון HBM4 - הזיכרון המתקדם ביותר הקיים כיום - בקצב העברה של 15.4 טרהבייט לשנייה. לפי מבחני ביצועים (benchmarks) שפרסמה OpenAI, Jalapeño מקטין את ה-latency מקצה לקצה - הזמן שחולף מרגע קבלת הבקשה ועד לאסימון (token) האחרון בתשובה - בעד פי 3.6 בהשוואה ל-GB300 של Nvidia, השבב שעליו מסתמכת החברה כיום, תוך צריכת חשמל נמוכה יותר. עם זאת, כפי שמציינת הכתבה, עדיין לא ברור אם הנתונים הללו יתורגמו לשיפור דומה כשהשבב ייכנס לשימוש מלא בתשתית ה-inference של OpenAI.

מעניין לא פחות מהביצועים הוא תהליך הפיתוח: לפי הדיווח, OpenAI השתמשה במודלי השפה (LLM) שלה כדי לזרז את תכנון השבב עצמו. התהליך המלא - מרעיון ארכיטקטוני ראשוני ועד לשבב הראשון שיצא מהמפעל - ארך פחות מ-20 חודשים, כאשר בין כתיבת קוד ה-RTL הראשון (register-transfer level, השכבה שמגדירה את הלוגיקה של השבב) לבין ה-tapeout (שליחת העיצוב הסופי לייצור) חלפו תשעה חודשים בלבד. ריצ'רד הו, סגן נשיא לחומרה ב-OpenAI, מצוטט באומרו: "המודלים נותנים כוחות-על למהנדסים שלנו... המהנדסים שלנו עדיין מובילים את העבודה, הם עדיין הפוסקים הסופיים לגבי מה שקורה. אבל הם יכולים לעשות דברים הרבה יותר מהר, הם יכולים לחקור הרבה יותר מסלולים".

הצוות שתכנן את Jalapeño מנה בממוצע פחות מ-100 איש לאורך הפרויקט, ועומד כיום על כ-100 איש הממשיכים לעבוד על הדורות השני והשלישי של השבב. OpenAI אחראית לתכנון המערכת מקצה לקצה - כולל ה-accelerator עצמו, היררכיית הזיכרון והרשת - בעוד ברודקום (Broadcom), שותפתה לפרויקט, אחראית ל"תכנון הפיזי מרמת השערים (gates) ואילך", לפי הו.

גורמים בתעשייה מתייחסים להישג בזהירות. דיוויד צ'ין, שותף-מייסד בסטארטאפ Verkor.io העוסק בתכנון שבבים בסיוע AI סוכני, אמר שלוח הזמנים ש-OpenAI מציגה "אמין למדי", אך הוסיף שהסיוע של ברודקום היה קריטי לקצב הפיתוח: "אם מישהו אחר היה מתחיל מאפס, זה לא היה אפשרי". שותפו רווי קרישנה כינה את הקצב "הישג מרשים יחסית", והעריך שאילו הפרויקט היה מתחיל היום, שיפורים ביכולות ה-LLM היו עשויים לקצר את לוח הזמנים עוד יותר. אנדרו קאנג, פרופסור מאוניברסיטת קליפורניה בסן דייגו, אמר שהקצב של OpenAI בולט ו"כנראה המוביל בתחום כיום".

המשמעות המיידית היא ש-OpenAI, שעד כה הסתמכה במידה רבה על שבבי Nvidia להרצת המודלים שלה, מתחילה לבנות חלופה פנימית - צעד שדומה לזה שכבר נקטו גוגל, אמזון ומטא עם שבבי ה-AI הייעודיים שלהן. ככל הנראה, אם קצב הפיתוח שהושג ב-Jalapeño יישמר או אף יתקצר בדורות הבאים, כפי שמעריכים המומחים שצוטטו, הדבר עשוי לצמצם בהדרגה את מידת התלות של חברות ה-AI הגדולות בשוק חומרת הייעוד שבו Nvidia שולטת כיום.