יוצא OpenAI משיק את Jev: מודל שלא כותב אף מילה, בהשראת דניאל כהנמן
TypeSafe AI, הסטארט-אפ של דיוגו אלמיידה, שהיה בצוות שפיתח את ChatGPT, השיקה את Jev. זה מודל שלא מייצר טקסט, אלא מחזיר רק החלטות מובנות: בחירה מרובה, דירוג או הסתברות. המודל מבוסס על רעיון "מערכת 1" של חתן פרס נובל דניאל כהנמן, ולפי החברה הוא מהיר וזול בהרבה ממודלי שפה רגילים.
דיוגו אלמיידה היה בצוות שפיתח את ChatGPT ואת RLHF, שיטת אימון שבה מודלים לומדים ממשוב אנושי והפכה מאז לסטנדרט בתעשייה. עכשיו הוא מציג מודל שעושה בדיוק את ההפך ממה שאנחנו מצפים ממודל AI: הוא לא כותב אף מילה. לפי דיווח ב-Geektime, הסטארט-אפ שלו, TypeSafe AI, השיק את Jev, ומאז ההשקה המודל הפך ללהיט.
חשוב לדייק: Jev הוא לא מוצר של OpenAI. אלמיידה עזב את החברה והקים את TypeSafe AI עם שותפים נוספים. הוא הסביר את המעבר כך: "כלאנו ברק בבקבוק, ועדיין הוא לא שימושי".
חשיבה מהירה במקום חשיבה מעמיקה
Jev מבוסס על קונספט שנקרא System One, על שם "מערכת 1" מתורתו של הפסיכולוג הישראלי פרופ' דניאל כהנמן ז"ל, חתן פרס נובל. כהנמן הבחין בין שני סוגי חשיבה: חשיבה מהירה ואינטואיטיבית (מערכת 1), וחשיבה איטית ומעמיקה (מערכת 2). לפי Geektime, רוב המודלים כיום פועלים בגישה של מערכת 2. Jev מנסה לחקות דווקא את החשיבה המהירה.
בפועל, המודל לא מנסח משפטים ולא כותב קוד. הוא מחזיר רק נתונים בפורמט מוגדר מראש: בחירה מתוך כמה אפשרויות, ציון מספרי או הסתברות "מכוילת". השם נלקח מ"פרדוקס ג'בונס", הרעיון שכאשר משאב מוזל, השימוש בו גדל. כאן המשאב הוא "אינטליגנציה".
מפתחים ניגשים למודל דרך ממשק קוד, ויש שלוש פעולות מרכזיות: הערכה של מידת הנכונות של טענה בסולם מ-0 עד 1; Score, שמדרג טקסט בסולם שהמפתח מגדיר (למשל רמת הכעס של לקוח במייל, מ-1 עד 5); ו-Choice, שבוחרת בין כמה אפשרויות, למשל לאיזה צוות להעביר פניית תמיכה.
מהירות, מחיר והזיות
לפי החברה, המודל אומן בשיטה שנקראת RLCD, שמטרתה לדייק את ההסתברויות שהוא מחזיר במקום לרצות בודקים אנושיים. המודל קורא את הקלט פעם אחת ומשיב על כמה שאלות במקביל. זמן התגובה נע בין 70 מילי-שניות לחצי שנייה. ב-TypeSafe טוענים שזה מהיר פי 40 עד 200 ממודל שפה רגיל, שמייצר את התשובה מילה אחר מילה.
גם התמחור שונה: משלמים רק על הקלט, 0.042 דולר למיליון טוקנים, והפלט חינמי. חלון ההקשר, כלומר כמות הטקסט שהמודל מקבל בבת אחת, מגיע ל-64,000 טוקנים. לפי החברה, מודלי שפה גדולים יעלו פי 40 עד 400.
החברה טוענת גם שהמודל כמעט לא "הוזה", כלומר לא ממציא מידע, כי הוא לא מייצר טקסט חדש ומסתמך רק על מה שקיבל. כדאי לזכור שזו טענה של החברה. מודל כזה עדיין עלול לבחור תשובה שגויה, גם אם הוא לא ממציא עובדות.
למי זה מיועד
ל-Jev אין ממשק צ'אט, ולכן הוא לא מיועד למשתמשים שרגילים לכלים כמו Claude או Gemini. לפי Geektime, מפתחים משתמשים בו כ"שומר סף" ראשוני: למיון אלפי מיילים בשניות, לניתוח פוסטים בזמן אמת, ואפילו לקבלת כ-10 החלטות בשנייה במשחק Doom. כשמשימה דורשת ניסוח או יצירתיות, המערכת מעבירה אותה למודל גדול ויקר יותר.
Jev לא לבד בתחום. AWS מציעה את Strands Decider 2B, ל-Cloudflare יש את Clef עם משקולות פתוחות (open weights), ו-OpenAI עצמה השיקה את Decisions, API חדש לקבלת החלטות.
המשמעות
ככל הנראה המגמה כאן רחבה יותר ממוצר אחד. בכמה חברות גדולות כבר מבינים שלא כל החלטה קטנה במערכת צריכה מודל שפה שלם. אם הגישה הזו תתבסס, סביר שמערכות AI ייבנו בשכבות: מודל קטן, מהיר וזול יטפל ברוב ההחלטות השגרתיות, והמודלים הגדולים יופעלו רק כשיש בהם צורך. השאלה הפתוחה היא עד כמה הטענות על דיוק ומהירות יחזיקו מחוץ לנתונים שהחברה עצמה פרסמה.