אמזון משיקה את TorchNeuron: ניסיון לשחרר את PyTorch מהתלות באנבידיה
AWS השיקה את TorchNeuron, כלי שמאפשר להריץ אפליקציות AI שנכתבו ב-PyTorch על שבב Trainium של אמזון בשינוי של שורת הגדרה אחת, בלי לשכתב קוד. במקביל, אמזון אומרת שהיא מעבירה לפרויקט PyTorch המרכזי שינויים שיסירו את הקוד שקושר אותו לשבבים מסוימים. זה ניסיון ישיר לפגוע ביתרון התוכנה שהפך את אנבידיה לבחירת ברירת המחדל בחומרת AI.
Amazon Web Services (AWS) השיקה ביום שני כלי חדש בשם TorchNeuron. הכלי מאפשר לחברות AI להעביר אפליקציות שנכתבו ב-PyTorch אל Trainium, שבב ה-AI של אמזון, בשינוי של שורת הגדרה אחת בלבד ובלי לשכתב קוד, לפי אמזון. המהלך מכוון ישירות ליתרון התוכנה שעזר לאנבידיה להפוך לבחירת ברירת המחדל בחומרה לאפליקציות AI.
למה PyTorch חשוב כל כך
PyTorch הוא ערכת כלים חינמית ב-open source (קוד פתוח), שבה מפתחים בונים, מאמנים ומריצים מודלים של בינה מלאכותית. לפי אמזון, כ-85% מאפליקציות ה-AI נכתבות בו. פייסבוק פיתחה אותו במקור, ומאז 2022 הוא שייך ל-Linux Foundation, הארגון שמתחזק פרויקטים של קוד פתוח.
אנבידיה השקיעה שנים כדי ש-CUDA, שכבת התוכנה שמריצה אפליקציות על המעבדים הגרפיים (GPU) שלה, תתמוך בצורה חלקה באפליקציות PyTorch. כך החומרה של אנבידיה נטמעה עמוק בתוך PyTorch והפכה למעשה לברירת המחדל. TorchNeuron מבוסס על PyTorch, כך שמי שכבר מכיר את PyTorch אמור לדעת להשתמש גם בו.
אמזון היא לא הראשונה שמנסה. לפי TechCrunch, מפתחי PyTorch כבר יכולים להעביר אפליקציות למעבדים הגרפיים של AMD ואפילו לשבבים של אפל בשינוי הגדרות פשוט. ההבדל, לטענת אמזון, הוא שהמעבר ל-Trainium נותן גם גישה לכל שירותי הענן של AWS.
המסר לסטארטאפים: הענן כולו, לא רק שבב
AWS מציגה את עצמה כחלופה עדיפה ל"ניו-קלאודס" (neoclouds), ספקי ענן ייעודיים ל-AI שרבים מהם קשורים לאנבידיה ולחומרה שלה, כמו CoreWeave, Nebius ו-Firmus. "אתם בונים על AWS. אתם לא מהמרים על ספק מחשוב חד-תכליתי ומתרוצצים לבנות את כל השאר סביבו", אמר ל-TechCrunch קולין ברייס, סגן נשיא לתוכנה טכנולוגית ב-Annapurna Labs, היחידה של AWS שמפתחת את השבבים של אמזון.
לטענת AWS, השבב משמש גם לאימון מודלים וגם ל-inference, כלומר להפעלת המודל המוכן, למשל כשהוא עונה על שאלה של משתמש. יחד עם האינטגרציה לתשתית הענן, זה אמור לחסוך לסטארטאפים כסף, גם אם AWS לא מציעה את המחיר הזול ביותר לכל token. ברייס הביא כדוגמה את Deepgram, ספקית AI קולי שמתחרה ב-ElevenLabs. לדבריו, Deepgram עברה ל-Trainium ומעבדת כיום 70% יותר אודיו לכל דולר, ברמת דיוק של סביבת ייצור.
השינוי שמכוון ל-PyTorch עצמו
החלק המשמעותי יותר בהודעה נוגע ל-PyTorch עצמו ולא ל-Trainium. בפוסט ההשקה כתבה אמזון שהיא מעבירה שינויים לפרויקט PyTorch המרכזי, בשיתוף עם קהילת המפתחים, כדי "להסיר קוד שקושר את הפריימוורק לשבבים ספציפיים". לדבריה, המטרה היא שכל קהילת המפתחים תקבל PyTorch שאינו תלוי בחומרה מסוימת, ולא רק משתמשי Trainium.
ב-TechCrunch מעירים ש-PyTorch נועד במידה רבה להסתיר מהמפתחים את הקושי בהתאמת קוד לחומרה. לכן עוד לא ברור אם הניתוק מאנבידיה ייתן למפתחים יותר אפשרויות ומחירים נוחים יותר, כפי שאמזון מבטיחה, או רק יותר כאבי ראש בהגדרות.
המשמעות
נראה שהאתגר של אנבידיה כאן גדול יותר מעוד מתחרה בשבבים. היתרון שלה נשען לא רק על החומרה, אלא גם על המקום של CUDA כברירת מחדל באקוסיסטם התוכנה. אם הקהילה תאמץ את השינויים של אמזון, עלות המעבר בין ספקי חומרה עשויה לרדת, וזה יכול לשנות את התחרות בשוק כולו. ברייס ניסח את זה כך: "הסיפור האמיתי הוא הסרת הנעילה שמנעה ממפתחים בחירה אמיתית מלכתחילה". עד כמה זה יקרה תלוי בשאלה אם קהילת PyTorch תקבל את השינויים, ואם המפתחים ירגישו שהמעבר באמת פשוט כמו שאמזון מבטיחה.