אנבידיה מרחיבה את Confidential Computing: הגנה על מודלים ונתונים בזמן ריצה הופכת לשכבת תשתית
אנבידיה הכריזה על Confidential Bare Metal, אפשרות פריסה חדשה שמיועדת לחברות שמפתחות מודלי חזית. היא מאפשרת להן להריץ עומסי עבודה רגישים על תשתית של ספקים חיצוניים ועדיין לשמור על השליטה במודלים ובנתונים שלהן. ההרחבה כוללת גם תמיכה במערכות Grace Blackwell ו-Rubin, והצטרפות של Cohere ושל גוגל קלאוד. לפי אנבידיה, זו שכבת התשתית שעליה נשענים סוכני ה-AI.
אנבידיה הודיעה היום על הרחבה של NVIDIA Confidential Computing, הטכנולוגיה שלה ל"מחשוב סודי". במרכז ההודעה עומדת Confidential Bare Metal, אפשרות פריסה חדשה שמיועדת למי שבונים מודלי חזית (frontier models). היא מאפשרת להריץ עומסי עבודה רגישים על תשתית ייעודית של צד שלישי, למשל ענן ציבורי, ספק "neocloud" או מרכז נתונים ארגוני, ולשמור בו בזמן על השליטה במודלים ובנתונים.
מה זה מחשוב סודי, ולמה עכשיו
רוב שיטות האבטחה המוכרות מגינות על מידע כשהוא שמור בדיסק או כשהוא עובר ברשת. Confidential Computing מתמודד עם השלב הפגיע יותר: הרגע שבו המודל והנתונים נטענים לזיכרון ומעובדים בפועל. לפי אנבידיה, הטכנולוגיה מבוססת על בידוד ברמת החומרה ועל אימות קריפטוגרפי (attestation), כלומר הוכחה מתמטית שהסביבה שבה הקוד רץ היא אכן מה שהיא מתיימרת להיות.
החברה מציגה את הצעד כחלק מתמונה רחבה יותר. לצד ההכרזה היום על NVIDIA OpenShell Reference Architecture, שנועדה לסייע לארגונים לפרוס סוכני AI באופן בטוח, אנבידיה מגדירה את Confidential Computing כ"שכבת התשתית שמגינה על המודלים והנתונים שהסוכנים תלויים בהם בזמן ריצה". ההבדל מהשקת ערכת הסוכנים שפורסמה היום הוא בגובה השכבה: הפעם לא מדובר בכלים לבניית סוכנים, אלא ברצפה שעליה הם עומדים.
שלוש דרכי פריסה
אנבידיה מציגה כעת ארכיטקטורת אבטחה מאוחדת עם שלוש אפשרויות:
- Confidential Bare Metal: לתשתית "bare metal", כלומר שרתים פיזיים ללא שכבת וירטואליזציה
- Confidential Containers: לסביבות Kubernetes
- Confidential Virtual Machines: לסביבות וירטואליות
לפי החברה, בקרות האבטחה החדשות מגינות על נתונים בתעבורה, מודדות את שלמות הפלטפורמה ואוכפות הגבלות גישה ברמת החומרה. המשמעות המעשית היא שמפתחי מודלים יכולים להפעיל על שרתים של ספק חיצוני את מחסנית התוכנה שלהם עצמם, כולל תוכנת ה-host והתשתית, ולא להסתמך על זו של הספק.
מי כבר בפנים
Cohere מתכננת לשלב את Confidential Bare Metal ב-Cohere Model Vault. "עם NVIDIA Confidential Computing ב-Cohere Model Vault, אנחנו מרחיבים אבטחה המעוגנת בחומרה ישירות אל ה-GPU, ומגינים על נתוני הלקוחות בזיכרון ולאורך ה-interconnects בזמן הריצה", אמר פיל בלאנסום, CTO של החברה.
גוגל קלאוד מרחיבה את התמיכה ב-Confidential Bare Metal למכונות A4X Max שמבוססות על מערכות NVIDIA GB300 NVL72. אנדרס לגאר-קבייה, האחראי על אבטחת תשתיות ה-AI בגוגל קלאוד, אמר שהמטרה היא לספק למעבדות AI סביבות מחשוב מבודדות בחומרה, ללא וירטואליזציה, עם הגנה קריפטוגרפית מקצה לקצה.
מעבר לשתי החברות האלה, התמיכה בטכנולוגיה מתרחבת ל-Grace Blackwell NVL72, כלומר למערכות בקנה מידה של ארון שרתים שלם, וכן למערכות HGX Rubin NVL8 ו-DGX Rubin NVL8 מבוססות x86. ספקי ענן ובהם CoreWeave, Lambda, Nebius, Nscale, Vultr ו-Azure Infrastructure של מיקרוסופט תומכים בפריסות. יצרניות שרתים כמו Cisco, Dell, HPE, Lenovo ו-Supermicro יציעו מערכות מאושרות. בנוסף, מערכת ההפעלה NVIDIA DSX OS תתמוך בכל מצבי ה-Confidential Computing, כבסיס לספקי ענן שבונים "מפעלי AI".
למה זה חשוב
המשקלים של מודל חזית הם ככל הנראה הנכס היקר ביותר של החברה שפיתחה אותו. עד כה, מי שרצה להגן עליהם נאלץ במידה רבה לבחור בין שליטה מלאה בתשתית לבין גישה לקיבולת מחשוב זמינה ברחבי העולם. אנבידיה מציעה לצמצם את הבחירה הזו. לטענתה, ההרחבה פותחת בפני מפתחי מודלים יותר אפשרויות גאוגרפיות, ריבוניות ותפעוליות לאימון ולהסקה (inference).
הסוכנים מוסיפים לכך שכבה. סוכן AI שניגש למסמכים, למערכות ולנתוני לקוחות של ארגון מעלה את רמת הסיכון של כל דליפה. לכן המהלך של אנבידיה נראה כמו הימור על כך שהגנה בזמן ריצה תפסיק להיות תוספת אופציונלית ותהפוך לדרישת בסיס בתשתית ה-AI.