TypeSafe AI משיקה את Jev: מודל שמחזיר מספרים במקום מילים

חברת TypeSafe AI הציגה בשבוע האחרון את Jev, המודל הראשון שלה בקטגוריה שהיא מכנה "System One models" - ומבקרי בינה מלאכותית מציעים לה שם חלופי: "מודלי החלטות" (decision models). הכתב סיימון וילסון פרסם ניתוח מפורט על המודל, ובו הוא מסביר שההבדל המהותי מ-LLM רגיל הוא בפלט: Jev מקבל קלט טקסטואלי כרגיל, אך במקום להחזיר טקסט הוא מחזיר מספרים עשרוניים - ציוני ביטחון, הסתברויות וקטגוריות.

TypeSafe מתארת את המודל כך: "תחשבו על Jev כקריאת פונקציה של אינטליגנציה מתקדמת - מצב לא-מובנה נכנס, החלטות הסתברותיות מוגדרות-טיפוס יוצאות". בפועל, המשתמש בונה אובייקט "state" - מחרוזת, מערך מחרוזות, או קבוצת זוגות שם-ערך שיכולים לתאר כתבה, לקוח, או כל רשומה אחרת - ושולח אותו ל-API יחד עם שאלה אחת או יותר.

שלושה סוגי שאלות

לפי הכתבה של וילסון, Jev תומך בשלושה פורמטים:

• שאלות "Noul" (כן/לא) - השם, לפי אישור מנכ"ל החברה בפורום Hacker News, מקוצר מ"ברנולי" (Bernoulli), על שם התפלגות ברנולי בהסתברות. המודל מחזיר מספר בין 0 ל-1 המבטא את מידת הביטחון שההיגד נכון.
• שאלות בחירה - המודל בוחר אפשרות מתוך רשימה נתונה, ומחזיר גם ציון ביטחון וגם התפלגות הסתברות על פני כל האפשרויות.
• שאלות ניקוד - סולם רמות עם תיאורים מילוליים, שעבורו המודל מחזיר ציון עשרוני על פני הטווח.

לפי וילסון, ה-API יכול לקבל מסמך יחיד לצד כמות גדולה של שאלות עד לגבול חלון ההקשר, כאשר השאלות מוערכות במקביל - כך שמענה על שאלות רבות אורך זמן דומה למענה על שאלה בודדת.

תמחור נמוך במיוחד

בניגוד למודלים רגילים, המתומחרים גם לפי טוקני קלט וגם לפי טוקני פלט (כאשר הפלט יקר משמעותית), Jev גובה תשלום רק על הקלט - הפלט חינמי. מחיר הקלט של הדור הראשון עומד על 0.042 דולר למיליון טוקנים, נמוך אף מ-GPT-5 Nano של OpenAI (0.05 דולר למיליון), כך על פי הנתונים שמביא וילסון.

שימושים וחששות

וילסון מציין ש"מסגרת מודל ההחלטות" מתאימה בעיקר למשימות סיווג - זיהוי ספאם, תיוג, דירוג ותעדוף. הוא מספר שהתנסה במודל גם לדירוג-מחדש של תוצאות חיפוש: איתור מאה התאמות אפשריות באמצעות אלגוריתם זול כמו BM25, ולאחר מכן שימוש ב-Jev לניקוד הרלוונטיות שלהן מול שאילתת המקור.

לצד זאת, וילסון מעלה הסתייגות מרכזית: לדבריו, מודל שמחזיר רק מספר עשרוני - בלי שום טקסט - הוא צעד נוסף לכיוון "קופסה שחורה". LLM רגיל אפשר לפחות לבקש שיסביר את החלטתו (גם אם ההסבר לא בהכרח מדויק); מ-Jev, לדבריו, אי אפשר לקבל אפילו את זה. וילסון מזהיר במפורש מפני שימוש במודל לדירוג מועמדים לעבודה, בטענה שציון עשרוני עלול להסתיר הטיה בלתי-נראית שקשה לזהות ולנתח. כהדגמה, הוא מתאר ניסוי משלו שבו ביקש מ-Jev לדרג ערים באזור מפרץ סן פרנסיסקו על פי השאלה "עיר טובה?" - קופרטינו קיבלה את הציון הגבוה ביותר ואיסט פאלו אלטו את הנמוך ביותר, תוצאה שהוא מתאר כמעוררת תהייה.

המשמעות המעשית, כך לפי וילסון, היא שבדיקות מובנות (evals) וניסויים שיטתיים הופכים חשובים אף יותר בעבודה עם מודלים מהסוג הזה - שכן בהיעדר הסבר טקסטואלי, הדרך היחידה לחשוף הטיה היא לבחון את הפלטים בשיטתיות.