גוגל מרחיבה את משפחת שבבי ה-TPU: שבב לאימון מודלים חסוי ושבב עם זיכרון כפול
גוגל הציגה שני שבבי TPU חדשים מהדור השמיני: TPU 8tx, שפותח יחד עם AMD ונועד לאימון ולהרצה של מודלי AI תוך הגנה על הנתונים כבר ברמת החומרה, ו-TPU 8i Max, שמאחד שני שבבי הסקה בחבילה אחת ומכפיל את הזיכרון ואת כוח העיבוד. המהלך מרחיב את תיק החומרה של גוגל, שמנסה להקטין את התלות שלה ביצרני שבבים חיצוניים.
גוגל הציגה ביום שני שתי גרסאות חדשות של שבבי ה-TPU (Tensor Processing Unit), השבבים שהחברה מפתחת בעצמה לעבודה עם מודלי AI. לפי TechCrunch, השבבים, TPU 8tx ו-TPU 8i Max, נועדו לשני שימושים ספציפיים: אימון והרצה של מודלים בסביבה חסויה, וקיבולת זיכרון גדולה יותר לעומסי עבודה כבדים.
שני השבבים שייכים לדור השמיני של ה-TPU, שגוגל השיקה באפריל השנה. הדור הזה כלל עד עכשיו שבב לאימון (TPU 8t) ושבב להסקה (TPU 8i). הסקה, או inference, היא השלב שבו מודל שכבר אומן עונה בפועל לשאלות של משתמשים. השבבים החדשים לא מחליפים את השניים האלה. הם בנויים עליהם ומתאימים אותם למשימות צרות יותר.
שבב שמגן על הנתונים בזמן העבודה
TPU 8tx מבוסס על TPU 8t, ופותח בשיתוף עם AMD. לפי גוגל, הוא מיועד במיוחד לאימון ולהרצה חסויים של מודלי AI. בפוסט בבלוג החברה נכתב שהשבב "מטמיע את האבטחה ישירות בשכבת החומרה, כך שמידע רגיש ומשקלי המודל נשארים מוגנים ומבודדים גם בזמן שימוש פעיל".
משקלי המודל (model weights) הם הפרמטרים שהמודל לומד במהלך האימון. למעשה הם המודל עצמו, ולרוב גם הנכס היקר ביותר של החברה שפיתחה אותו. ההבטחה להגן עליהם בזמן חישוב, ולא רק כשהם שמורים בדיסק, פונה ככל הנראה ללקוחות ענן שמהססים להעלות מידע רגיש לתשתית של צד שלישי.
לשבב יש גם רשת הסקה ייעודית שמאפשרת לו להריץ הסקה במקביל לאימון. כך אפשר להשתמש בו כדי לבצע distillation, כלומר להעביר ידע ממודל גדול למודל קטן, ולאמן מודלים קטנים תוך כדי עבודה. לדברי גוגל, היכולת הזו יכולה להועיל לחברה שרוצה לאמן מודל על המידע הקנייני שלה בלי להעביר אותו בין מכשירים.
פי שניים זיכרון בחבילה אחת
TPU 8i Max משלב בעצם שני שבבי TPU 8i, שבבי ההסקה שהושקו באפריל, בחבילה אחת. התוצאה היא פי שניים בקיבולת הזיכרון, בכוח העיבוד וברוחב הפס. לפי הדיווח, השבב מאפשר למודלים לעבד טווח רחב יותר של מידע בזמן מענה לשאילתה. המשמעות המעשית היא ככל הנראה עבודה נוחה יותר עם מסמכים ארוכים, שיחות ארוכות ומשימות שדורשות להחזיק הרבה הקשר בזיכרון בבת אחת.
למה זה חשוב
ההשקה היא חלק ממאמץ רחב של גוגל להקטין את התלות שלה בשבבים של חברות אחרות בעסקי הענן שלה. היא לא לבד: לפי TechCrunch, גם ספקיות ענן גדולות כמו מיקרוסופט ואמזון, ואפילו מעבדות AI כמו OpenAI ואנתרופיק, מפתחות שבבים ייעודיים ל-AI ותוכנה נלווית כדי לצמצם את התלות בדומיננטיות של אנבידיה.
המעבר משני שבבים כלליים, אחד לאימון ואחד להסקה, למשפחה שכוללת גם גרסאות ייעודיות מעיד ככל הנראה על בשלות של השוק. לקוחות ארגוניים כבר לא מחפשים רק כוח חישוב. הם רוצים פתרונות לבעיות ספציפיות, כמו פרטיות מידע וחלונות הקשר ארוכים. הבחירה של גוגל לעבוד עם AMD דווקא על השבב המאובטח מעניינת גם היא. היא מרמזת שגם חברה שמפתחת שבבים בעצמה נעזרת בשותפים חיצוניים כשמדובר ביכולות שאינן בליבת המומחיות שלה.
הדיווח אינו מציין מתי השבבים החדשים יהיו זמינים ללקוחות Google Cloud או מה יהיה התמחור שלהם.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות