OpenAI משיקה את GPT-6 Astra Ultrafast: יצירת טוקנים מהירה עד פי 8 על שבבי Blackwell של אנבידיה

OpenAI השיקה את GPT-6 Astra Ultrafast, גרסה מואצת של המודל שלה שרצה על מעבדים גרפיים (GPU) מסדרת Blackwell של אנבידיה. לפי הודעה שפרסמה אנבידיה בבלוג שלה ב-1 באוקטובר, Ultrafast מייצרת טוקנים מהר עד פי 8 ממצב Astra Standard. הגרסה זמינה כבר עכשיו ב-API של OpenAI, וגם למשתמשים זכאים ב-ChatGPT Work וב-Codex.

מה בעצם מואץ כאן

טוקנים הם יחידות הטקסט שמודל שפה (LLM) מייצר בזו אחר זו, כמו מילים או חלקי מילים. ככל שהמודל מייצר אותם מהר יותר, התשובה מגיעה מהר יותר. לפי אנבידיה, ההאצה נשענת על אופטימיזציות של inference, כלומר של שלב הפעלת המודל אחרי שהאימון שלו הסתיים, שמנצלות את היכולות של ארכיטקטורת Blackwell.

ההודעה לא מציינת את מחיר השימוש. את פרטי הגישה, התמחור והיישום היא מפנה למדריך Ultrafast של OpenAI.

למה מהירות חשובה לסוכנים

ההודעה מתמקדת במפתחים, ובעיקר בסוכני קוד (coding agents). לפי אנבידיה, יצירה מהירה יותר יכולה לקצר את מחזורי הכתיבה, הבדיקה והתיקון של סוכנים כאלה. היא גם מקצרת את ההמתנה לתשובות בין קריאות לכלים חיצוניים (tool calls), וגורמת לאפליקציות אינטראקטיביות להגיב מהר יותר.

הנימוק פשוט: סוכן כותב קוד, מפעיל כלי, בודק את התוצאה ומחליט מה לעשות הלאה, וחוזר על המחזור הזה פעמים רבות. עיכוב של כמה שניות בכל שלב מצטבר לאורך כל תהליך העבודה. לכן, לפי אנבידיה, Ultrafast מביאה את היכולות של Astra אל "לולאות רגישות לזמן" כאלה.

מודלים שמייעלים את עצמם

הפרט המעניין בהודעה הוא האופן שבו הושגה ההאצה. לפי אנבידיה, OpenAI משתמשת במודלים שלה עצמה כדי לשפר את תוכנת ה-inference שרצה על שבבי אנבידיה. היא נעזרת בכך שהפלטפורמה ניתנת לתכנות כדי לבדוק שיפורים וליישם אותם.

"ההשקעה העמוקה של אנבידיה בכלים ובתיעוד אפשרה לנו להפוך את המודלים שלנו לטובים במיוחד בתכנות של מעבדי Blackwell ו-Rubin", אמר פיליפ טייה (Philippe Tillet), ראש תחום ה-inference ב-OpenAI. "Astra יכול להפוך את הידע הזה ל-kernels בעלי ביצועים גבוהים". Kernels הם רכיבי קוד ברמה נמוכה שרצים ישירות על המעבד הגרפי.

גם אודיי רודרג'ו (Uday Ruddarraju), סמנכ"ל הטכנולוגיה לתחום המחשוב ב-OpenAI, התייחס לכך: "השתמשנו במודלים הפנימיים שלנו כדי לייעל את ה-inference על מעבדי אנבידיה, והיכולת לתכנת את הפלטפורמה של אנבידיה עזרה לנו לספק את ההאצה שמאחורי Astra Ultrafast".

לפי אנבידיה, העבודה הזאת לא נעצרת בהשקה. שיפורים שוטפים בתוכנה יכולים להאיץ את תגובות המודל ולהגדיל את התפוקה של תשתית שכבר פועלת.

המשמעות

כדאי לזכור שהמקור היחיד כרגע הוא הבלוג של אנבידיה, שיש לה עניין מסחרי ברור להציג את החומרה שלה באור טוב. הנתון "עד פי 8" הוא נתון מרבי בהשוואה למצב Standard, ולא מדד עצמאי. קשה לדעת מראש איך הוא ייראה בשימוש יומיומי.

ובכל זאת, ההודעה מצביעה ככל הנראה על שני כיוונים. הראשון: בעידן הסוכנים, המהירות הופכת למדד חשוב כמעט כמו האיכות, כי המתנה קצרה בכל שלב מצטברת להמתנה ארוכה. השני: OpenAI מתארת מצב שבו המודלים שלה כותבים בעצמם חלק מהקוד שמריץ אותם. אם הגישה הזאת תוכיח את עצמה, המשמעות היא ששיפורי ביצועים יגיעו לא רק מחומרה חדשה, אלא גם מתוכנה שהמודלים עצמם ממשיכים לשפר.