גוגל מרחיבה את משפחת ה-TPU: שני וריאנטים חדשים ותחרות ישירה עם אנבידיה

גוגל הוסיפה שתי מערכות חדשות לדור השמיני של מאיצי ה-AI שלה, ה-TPU (Tensor Processing Unit, השבב שהחברה מתכננת בעצמה). הראשונה, TPU 8tx, מיועדת לעבודה עם מידע חסוי. השנייה, TPU 8i Max, מיועדת לעומסי עבודה שצורכים הרבה זיכרון. לפי הדיווח ב-The Decoder, גוגל אומרת שזו הפעם הראשונה שהיא משיקה ארבע מערכות TPU בתוך שנה אחת.

לא דור חדש: אותו שבב, תצורות אחרות

שתי המערכות החדשות בנויות על שבבים שכבר קיימים. גוגל לא משיקה כאן דור חדש של שבבים. מה שמשתנה הוא מה שמסביב למעבד: האריזה, הרשת ותצורת הזיכרון. בחברה מתארים את הגישה המודולרית הזו כהחלטה תכנונית מכוונת, שמאפשרת להוציא וריאנטים חדשים של חומרה בתוך חודשים ולא שנים. המשמעות היא ככל הנראה שגוגל יכולה להתאים חומרה לסוגי לקוחות שונים מהר יותר, בלי לחכות למחזור הפיתוח הארוך של שבב חדש.

TPU 8tx: הצפנה גם בזמן העיבוד

ה-TPU 8tx מיועד לחברות ולגופים ממשלתיים שעובדים עם נתונים רגישים. בדרך כלל מידע מוצפן כשהוא נשמר וכשהוא מועבר ברשת, אבל ברגע שהמעבד צריך לעבוד איתו, הוא מפוענח בזיכרון. גוגל אומרת שה-TPU 8tx סוגר את הפער הזה: הנתונים ומשקלי המודל נשארים מוגנים ומבודדים גם בזמן השימוש. התחום הזה נקרא confidential computing, ולאנבידיה כבר יש יכולת דומה ב-GPU שלה.

המערכת משתמשת ברשת Boardfly, רשת עם השהיה נמוכה שגוגל פיתחה להסקה בזמן אמת. לפי החברה, השיפור בהשהיה לעומת ה-TPU 8t מגיע עד פי שניים. גוגל אומרת שארגונים יוכלו לבצע על מערכת אחת fine-tuning (התאמה של מודל קיים לצרכים ספציפיים), distillation (זיקוק של מודל גדול למודל קטן יותר) ואימון סוכני AI ב-reinforcement learning, וכל זה בלי להעביר נתונים רגישים בין אשכולות מחשוב שונים.

TPU 8i Max: פי שניים באותו ארון שרתים

ה-TPU 8i Max מטפל בבעיה אחרת: צוואר הבקבוק של הזיכרון. כשסוכני AI עובדים במקביל על בסיסי קוד גדולים או על שעות של וידאו, רוחב הפס של הזיכרון הופך לגורם המגביל. הפתרון של גוגל הוא להציב שני שבבי TPU 8i על אריזה אחת. התוצאה היא פי שניים בכוח המחשוב, בכמות הזיכרון וברוחב הפס של הזיכרון, באותו פורמט של ארון שרתים (rack). כלומר הרבה יותר ביצועים לכל מטר רבוע של שטח במרכז הנתונים.

להוריד את מחסום הכניסה

גוגל עובדת גם על התוכנה. החברה שחררה כ-open source את TorchTPU, כלי שאמור לאפשר להריץ קוד PyTorch על TPU עם שינויים מינימליים. היא תומכת גם ב-vLLM וב-SGLang, שתי מסגרות נפוצות להרצת מודלים. זה חשוב כי רוב המפתחים בעולם ה-AI כותבים ב-PyTorch ורגילים לחומרה של אנבידיה. כל חיכוך במעבר לפלטפורמה אחרת הוא סיבה טובה להישאר במקום.

המשמעות: המירוץ על שוק ההסקה

ההרחבה משקפת שינוי אסטרטגי. בעבר ה-TPU היו בעיקר כלי פנימי של גוגל, וכעת החברה משווקת אותם כפלטפורמה מתחרה ללקוחות חיצוניים. לפי הדיווח, יש לה כבר כמעט 100 לקוחות TPU חיצוניים.

מאחורי זה עומדת מגמה רחבה יותר בשוק. ככל שאפליקציות AI מתפשטות, מרכז הכובד עובר מריצות אימון יקרות אל ההסקה (inference), כלומר ההפעלה היומיומית של המודלים. בתחום הזה שבבים ייעודיים כמו TPU יכולים לבלוט. זו גם הסיבה שאמזון, מיקרוסופט ו-OpenAI מפתחות מאיצים משלהן. אנבידיה הגיבה בחיזוק היצע ההסקה שלה, באמצעות עסקת acqui-hire (רכישה שמטרתה בעיקר לגייס את הצוות) ורישוי עם Groq.

ההערכה היא שהיתרון של אנבידיה לא נשען רק על החומרה אלא גם על האקוסיסטם של התוכנה. השילוב של קצב השקות מהיר עם כלים כמו TorchTPU מעיד ככל הנראה שגוגל מנסה להתמודד עם שתי החזיתות בבת אחת.