OpenAI פותחת לכולם את Decisions API, ונכנסת לתחרות על מודלי ההחלטות המהירים
ה-Decisions API של OpenAI, שנועד להחלטות מהירות וזולות בתוך אפליקציות, זמין מעכשיו לכל הלקוחות. הוא נכנס לשוק שפתחה TypeSafe עם מודל Jev, אבל בשני מדדים ציבוריים הוא מדורג כרגע מתחת למודל של המתחרה.
OpenAI פתחה ביום חמישי את ה-Decisions API לכל לקוחותיה. זה מוצר שהחברה מתארת כמיועד ל"החלטות מהירות, ממוקדות וזולות לכל אפליקציה". לפי TechCrunch, ההשקה מכניסה את OpenAI לשוק שהפך לאחרונה את TypeSafe לחברה בשווי 7.6 מיליארד דולר. TypeSafe היא סטארט-אפ שהקים חוקר לשעבר של OpenAI.
מה זה בכלל "מודל החלטות"
מודל Jev של TypeSafe יצר קטגוריה חדשה של מודלי deep learning שעובדים כמעין "מסווגי-על". המודל מקבל רשימת אפשרויות, בוחר אחת מהן במהירות ומצרף ציון ביטחון בהחלטה. בתעשייה מכנים אותם גם מודלי System One. מפתחים גילו מהר שהמודלים האלה יכולים להחליף LLM (מודל שפה גדול) בלא מעט תהליכי עבודה, והם מהירים וזולים בהרבה.
ניקונג' הנדה, מנהל המוצר של ממשקי ה-API ב-OpenAI, סיפר ל-TechCrunch שכשעמיתיו ראו את Jev הם אמרו "וואו, יש לנו בערך מיליון שימושים לזה". אבל הצוות שלו לא בנה מודל החלטות שכויל במיוחד למשימה. הוא לקח את ChatGPT Luna והגדיר אותו מחדש כך שההסקה (inference) תהיה מהירה וזולה יותר. "הפריצה הגדולה של Decisions API היא המהירות: ירדנו משנייה עד שלוש שניות ל-100, 120, 180 מילישניות", אמר הנדה. לדבריו, ייתכן שבעתיד יהיה אימון ייעודי, "אבל כרגע זה פשוט Luna הרגיל שעושה את העבודה".
מה השתנה מאז ההכרזה
OpenAI הכריזה על המוצר בכנס המפתחים שלה ב-29 בספטמבר. בגרסה הציבורית נוספו תמיכה בקול ובתמונה, והחברה פיזרה את משאבי ההסקה שלה גאוגרפית כדי לקצר את זמני התגובה באזורים שונים בעולם. בניסויים מוקדמים עם לקוחות כמו Box, Datadog, Ramp ו-Speak, מהנדסים השתמשו ב-API במקום מודלי ה-LLM של OpenAI והשיגו תפוקה גבוהה יותר. אנדרו שו, ה-CTO של Speak שמפתחת מורים וירטואליים לשפות, אמר שהזמן בין פעולות ירד אצלם מ-1.4 שניות ל-0.13 שניות. OpenAI השתמשה במוצר גם כדי לשפר את זמני התגובה של עוזרת הקול שלה, Dots.
מי מוביל
כאן עולה השאלה המרכזית: האם OpenAI תצליח להתחרות במודל המקורי. בשני מדדים ציבוריים, AIM System One Index ו-Artificial Analysis Decision Index, המודלים המובילים הם D1 Ultra של Liquid, שיצא בשבוע שעבר, ו-Elephant-1 של Base Lab. הגרסה האחרונה של Jev נמצאת במקום השביעי ובמקום השלישי, בהתאמה. מודל ההחלטות של OpenAI נמצא במקום השמיני ובמקום ה-14. מודלי TypeSafe הם כרגע אלה שמקבלים הכי הרבה שאילתות ב-OpenRouter.
עם זאת, לא ברור מה בדיוק הופך מודל החלטות לטוב. האיזון בין אינטליגנציה, עלות, כיול ומהירות משתנה ככל הנראה מעומס עבודה אחד לאחר. דיוגו אלמיידה, מנכ"ל TypeSafe, לא סומך על benchmarks וממליץ לבדוק את המודלים על העבודה האמיתית. ובכל זאת, TypeSafe עצמה פרסמה דירוגים בשבוע שעבר, יחד עם גרסה חדשה של Jev שתומכת בתמונות וב-smart-if statements.
יש גם מבחן קליל יותר: JevMan, שבו מודלי החלטות משחקים פקמן. את המבחן בנתה חברת Opper AI, ו-Jev בראש הדירוג. פליקס וונדרליך, מנהל הצמיחה של Opper AI, הסביר שבכל צומת "המודל צריך להחליט לאן לפנות בתוך כמה מאות מילישניות".
למה זה חשוב
היתרון של OpenAI עשוי להיות בעבודה עם כמה סוגי קלט (multi-modality). לדברי הנדה, בסיווג תמונות "Luna חזק מאוד ומראה כיול טוב יותר". הוא כבר מדבר על היעד הבא: "אפשר להגיע למשהו כמו 60 מילישניות? ואז אפשר לדמיין קריאת API לכל פריים בווידאו".
לפי TechCrunch, Jev נקרא על שם כלכלן שהסביר איך שימוש יעיל יותר במשאב דווקא מגדיל את השימוש בו. ככל הנראה הכוונה לרעיון המוכר כ"פרדוקס ג'בונס". אם המודלים ימשיכו להיעשות מהירים וזולים יותר, ייתכן שהם יופיעו כמעט בכל אפליקציה. הנדה מתאר את זה כ"סט מטורף של שימושים" שהיה מול העיניים עד שמודלי ההחלטות חשפו אותו.