OpenAI משיקה Decisions API: סיווג טקסט ותמונות בתשובות סגורות, מהיר פי עשרה ובעלות של 10 סנט למיליון tokens של קלט

OpenAI הודיעה על שני עדכונים לפלטפורמת ה-API שלה, כלומר הממשק שדרכו מפתחים וחברות משלבים את המודלים שלה במוצרים. העדכון העיקרי הוא ממשק חדש בשם Decisions API. הוא בודק טקסט, תמונות או שילוב של שניהם, ומחזיר תשובה סגורה ולא טקסט חופשי. לפי דיווח באתר The Decoder, הממשק מהיר בערך פי עשרה מ-Responses API, הממשק הכללי של החברה.

שלושה סוגי תשובות, מודל אחד

Decisions API מחזיר שלושה סוגי תשובות:

• כן/לא: הסתברות לכל אחת מהתשובות.
• בחירה: קטגוריה אחת מתוך רשימה שהמפתח הגדיר מראש.
• דירוג: ציון על סולם.

OpenAI מביאה כמה דוגמאות לשימוש: זיהוי נזק בתמונות, ניתוב אוטומטי של פניות לקוחות וסיווג מסמכים. בינתיים הממשק תומך במודל אחד בלבד, gpt-6-luna. המחיר הוא 0.10 דולר למיליון tokens של קלט (tokens הן יחידות הטקסט שהמודל מעבד), ועל tokens של פלט לא משלמים בכלל.

הממשק נמצא כעת בבטא ציבורית, והחברה מסרה שהגרסה הרשמית (general availability) תגיע בקרוב. הוא תומך גם ב-zero-data retention, כלומר שהנתונים לא נשמרים אצל OpenAI, ומאפשר שימוש שתואם את HIPAA, תקן פרטיות המידע הרפואי האמריקאי, בארצות הברית ובאירופה.

למה תשובה סגורה חשובה

חלק גדול מהשימוש של חברות במודלי שפה הוא בעצם החלטות פשוטות: האם המסמך הזה הוא חשבונית או חוזה? לאיזו מחלקה להעביר את הפנייה? האם יש שריטה ברכב שבתמונה? כדי לקבל החלטה כזו ממודל כללי צריך היום לבקש ממנו טקסט, ואז לפענח מתוכו את התשובה. זה תהליך איטי ויקר יחסית, ולא תמיד עקבי.

ממשק שמחזיר מראש תשובה בפורמט קבוע, לפעמים עם הסתברות מספרית, נראה מתאים יותר למערכות אוטומטיות שמעבדות כמויות גדולות של מידע. הבחירה לגבות כסף רק על הקלט היא ככל הנראה שינוי של ממש במודל התמחור: התשובה כאן קצרה מאוד, ולכן מה שקובע את העלות הוא בעיקר כמות החומר שנשלח לבדיקה.

ב-The Decoder מעריכים שהממשק הוא כנראה התגובה של OpenAI למה שהם מכנים "מיני-טרנד" של "מודלי החלטה" (decision models), שלדבריהם החברה Jev התחילה באמצע ספטמבר. אם ההערכה נכונה, OpenAI לא מחכה שתחום כזה יתבסס אצל המתחרים, ומשלבת אותו מהר בפלטפורמה שלה.

שלוש מדרגות במקום חמש

העדכון השני נוגע למבנה התשלום. OpenAI צמצמה את מדרגות התשלום (tiers) ב-API מחמש לשלוש: Build, Launch ו-Grow. ארגון עובר אוטומטית למדרגה הבאה כשסך רכישות הקרדיט שלו מגיע לסף שלה. תקרות השימוש החודשיות הן 500 דולר, 5,000 דולר ו-200,000 דולר, בהתאמה.

המשמעות המעשית היא ככל הנראה פישוט: פחות מדרגות ביניים ומסלול ברור יותר לחברות שהשימוש שלהן גדל. שני העדכונים יחד מצביעים, להערכתנו, על מאמץ של OpenAI להפוך את ה-API לכלי נוח וזול יותר לשימוש תפעולי שוטף בחברות, ולא רק לבניית צ'טבוטים.