AA-AgentPerf: לפי דיווח, שבבי Vera Rubin של אנבידיה מובילים ביעילות האנרגטית בהסקה של סוכני קוד
AA-AgentPerf, מדד חדש של חברת Artificial Analysis, בודק חומרת הסקה בכך שהוא מריץ מחדש מסלולי עבודה אמיתיים של סוכני קוד, כולל הקשרים ארוכים. לפי דיווח שעדיין לא אומת, פלטפורמת Vera Rubin של אנבידיה מובילה בו ביעילות אנרגטית. הממצא מגיע בזמן שאספקת החשמל הפכה לאחד מצווארי הבקבוק המרכזיים בתשתיות AI.
חברת המחקר Artificial Analysis פרסמה מדד ביצועים חדש בשם AA-AgentPerf, שבוחן חומרה להסקה (inference, כלומר הרצת מודל שכבר אומן) בתנאים של עבודה אמיתית עם סוכני קוד. לפי פוסט שמפנה למדד, פלטפורמת Vera Rubin של אנבידיה מובילה בו ביעילות אנרגטית. את הטענה הזו לא ניתן היה לאמת מול הפרסום המקורי, ולכן יש להתייחס אליה כדיווח לא-מאומת.
מה המדד בודק
במדדי חומרה רבים מודדים כמה טוקנים (יחידות טקסט) בשנייה מערכת מסוימת מפיקה, על פרומפטים קצרים וסינתטיים. AA-AgentPerf בנוי אחרת: לפי התיאור, הוא מריץ מחדש מסלולי עבודה (trajectories) אמיתיים של סוכני קוד, ואלה כוללים הקשרים ארוכים.
סוכן קוד הוא מערכת AI שמבצעת משימת תכנות בכמה צעדים. הוא קורא קבצים, מריץ פקודות, מתקן את מה שנכשל וממשיך. בכל צעד כזה המודל מקבל מחדש את כל ההיסטוריה המצטברת של המשימה, וההקשר (context) מתארך. ככל הנראה זו הסיבה שמדד שמבוסס על מסלולים אמיתיים משקף טוב יותר את העומס שנוצר בפועל בעבודה עם סוכנים: הקשרים ארוכים מכבידים על הזיכרון ועל רוחב הפס של החומרה, ומדד על פרומפטים קצרים לא בהכרח יחשוף את זה.
יעילות לפני מהירות
הנקודה הבולטת בדיווח היא שהיתרון של Vera Rubin הוא ביעילות אנרגטית, ולא דווקא במהירות. כלומר, כמה עבודה מתקבלת מכל יחידת חשמל. הפרסומים הזמינים לא כוללים נתונים מספריים מהמדד ולא פירוט של המתחרות שנבדקו מולה.
הדגש על יעילות אנרגטית לא מפתיע, בהתחשב במצב בשוק התשתיות. בניתוח של MarketBeat מספטמבר נטען שצוואר הבקבוק הפיזי של ה-AI עבר מתכנון השבבים אל מהירות ההקמה וזמינות החשמל. לפי הניתוח, מערכות בצפיפות גבוהה כמו NVL72 צורכות יותר מ-100 קילוואט לכל ארון שרתים. במוקדי דאטה סנטרים בווירג'יניה ובטקסס, תורי החיבור לרשת החשמל עלולים להימשך שנים.
Vera Rubin כבר בשטח
לפי אותו ניתוח, ספקית הענן CoreWeave כבר הפעילה אשכול של כמה ארונות שמבוסס על פלטפורמת Vera Rubin NVL72, שמיועדת ל-AI סוכני (agentic AI). בעבודה כזו מודלים מבצעים הסקה רציפה ורב-שלבית, ולא רק עונים על פרומפט בודד. במקביל חתמה CoreWeave על חוזה שכירות עוגן ל-15 שנה עם Blockfusion בקמפוס בניאגרה פולס שבמדינת ניו יורק. החוזה מעניק לה גישה לחשמל הידרואלקטרי ייעודי וזול. חשוב לציין שהניתוח התפרסם במדור של הודעות לעיתונות וחומרים מצד שלישי, שעשוי לכלול תוכן ממומן, ושה-Globe and Mail לא בדק אותו.
למה זה חשוב
אם הממצא יאומת, ייתכן שהמשמעות היא שהשאלה המכרעת ברכש חומרה ל-AI כבר אינה רק "כמה מהר", אלא גם "כמה עבודה מתקבלת מכל קילוואט". מי שמוגבל בכמות החשמל שזמינה לו בכל אתר יכול, ככל הנראה, להפיק יותר מאותה הקצאת חשמל בעזרת חומרה יעילה יותר.
ההערכה היא שמדדים כמו AA-AgentPerf משקפים מגמה רחבה יותר: מעבר ממדדים סינתטיים למדידה של עומסי עבודה אמיתיים, בייחוד כשסוכני קוד הופכים לאחד השימושים המרכזיים במודלי שפה. עד שיתפרסמו הנתונים המלאים, כולל המספרים, המתחרות ותנאי הבדיקה, קשה להעריך כמה גדול היתרון.