OpenAI משיקה את Decisions API: תשובות מובנות מהר בערך פי 10, בלי חיוב על פלט

OpenAI פתחה ב-public beta, כלומר גרסת ניסיון שזמינה לכל המפתחים, ממשק חדש בשם Decisions API. לפי הדיווח ב-MarkTechPost, הממשק רץ על המודל GPT-6 Luna ומחזיר תשובות מסוג קבוע מראש (typed): הסתברויות, בחירה מתוך רשימת אפשרויות וציונים מספריים. הוא עושה זאת מהר בערך פי 10 מ-Responses API, הממשק הכללי של החברה.

התמחור הוא החלק הבולט בהכרזה: 0.10 דולר למיליון טוקנים של קלט, בלי שום חיוב על טוקנים של פלט.

מה ההבדל מ-API רגיל

ממשק רגיל למודל שפה (LLM) בנוי לייצר טקסט חופשי, מילה אחר מילה. אבל בהרבה שימושים עסקיים אף אחד לא צריך פסקה. צריך תשובה אחת: האם המייל הזה ספאם? לאיזו מחלקה לנתב את הפנייה? כמה רלוונטי המסמך לשאילתה, בסולם מ-0 עד 1?

כיום מפתחים שרוצים תשובות כאלה בדרך כלל מבקשים מהמודל להחזיר JSON, מפרקים את הטקסט שחזר ומקווים שהפורמט נשמר. ממשק שמחזיר מראש הסתברות, בחירה או ציון אמור לחסוך את השלב הזה. ככל הנראה הוא גם מסביר חלק מהפער במהירות: כשהפלט הוא ערך אחד ולא טקסט ארוך, יש הרבה פחות עבודת ייצור.

למה התמחור משנה את החשבון

בממשקים הרגילים טוקנים של פלט עולים בדרך כלל יותר מטוקנים של קלט. כש-OpenAI מוותרת לגמרי על החיוב על הפלט, העלות נקבעת רק לפי אורך הקלט: הטקסט שנשלח לבדיקה וההנחיות שמצורפות אליו.

המשמעות המעשית היא ככל הנראה שמשימות בנפח גבוה נעשות זולות וצפויות יותר מבחינת תקציב. מדובר במשימות כמו סינון תוכן, תיוג כרטיסי תמיכה, דירוג תוצאות חיפוש או ניתוח סנטימנט על מיליוני רשומות. עד היום חברות רבות השתמשו לשם כך במודלי סיווג קטנים וייעודיים שאימנו בעצמן, בגלל עלות וזמני תגובה. אם המספרים של OpenAI יעמדו במבחן השימוש, ייתכן שחלק מהן ישקלו לעבור למודל כללי שלא דורש אימון.

מה עוד לא ידוע

ההכרזה, כפי שהיא מופיעה במקור, לא מפרטת על אילו משימות נמדד שיפור המהירות. היא גם לא מספרת איך נראית איכות התשובות לעומת Responses API, ומה המגבלות של גרסת הבטא. "public beta" מרמז שהממשק עשוי עוד להשתנות לפני הגרסה הסופית. מפתחים שבונים עליו תהליכים קריטיים יצטרכו כנראה לבדוק בעצמם את הדיוק על הנתונים שלהם.

השורה התחתונה

Decisions API משקף מגמה רחבה יותר בשוק: ספקי המודלים מפרקים את ה-API האחד והכללי לממשקים ייעודיים, שכל אחד מהם מתומחר ומותאם לסוג עבודה אחר. במקרה הזה ההימור של OpenAI הוא שחלק גדול מהשימוש במודלים בארגונים הוא בעצם קבלת החלטות קטנות בכמויות גדולות. ככל הנראה ההימור הוא שאם ההחלטות האלה יהיו זולות ומהירות מספיק, הן יעברו לרוץ על התשתית שלה.