דיוגו אלמיידה משיק Jev: מודל AI שמוותר על שפה כדי להיות זול וחסכוני יותר
דיוגו אלמיידה, מי שסייע לבנות את ChatGPT ולהמציא את שיטת האימון RLHF, השיק באמצעות הסטארטאפ שלו, TypeSafe AI, מודל בשם Jev שמפיק הסתברויות במקום טקסט חופשי - ולכן, לטענת החברה, לא יכול "להזות". מפתחים שהחליפו בו מודלי שפה גדולים מדווחים על תשובות מהירות וזולות משמעותית, בסימן למגמה רחבה יותר של מודלים קטנים ומתמחים שמתחרים ב-LLM הענקיים.
דיוגו אלמיידה עבד כחוקר ב-OpenAI, סייע לבנות את ChatGPT והמציא את שיטת RLHF (Reinforcement Learning from Human Feedback) - טכניקת האימון שעליה מבוססת במידה רבה תעשיית ה-AI הנוכחית. לפני כשנתיים הוא עזב את החברה כדי להקים סטארטאפ בשם TypeSafe AI, מתוך תחושת תסכול: "יש לנו ברק בבקבוק, ובכל זאת הוא לא שימושי", אמר ל-TechCrunch. לדבריו, ארבע שנים של שיפור בשפה טבעית לא תורגמו להצלחה באוטומציה, כי "מחשבים מדברים שפה אחרת".
השבוע השיקה החברה את הפתרון: מודל בשם Jev, שלפי הדיווח מעורר התלהבות רבה בקהילת המפתחים - עד כדי כך שהביקוש הגבוה גרם לחברה להשבית זמנית את הגישה ל-API שלה. בשונה ממודלי שפה גדולים (LLM) כמו אלה של OpenAI או Google, Jev מבוסס על ארכיטקטורת transformer אך אינו מפיק טקסט חופשי, אלא הסתברויות - מה שהחברה מכנה "החלטות מכוילות" (calibrated decisions). מכיוון שהמשתמש מגדיר מראש את מרחב התשובות האפשריות, הוא לא יכול, לפי החברה, "להזות" (hallucinate). המודל גם תמחורו שונה בתכלית: אסימוני הפלט חינמיים, ואסימוני הקלט נמדדים במיליארדים ולא במיליונים, כמקובל בשוק מודלי השפה.
עדויות ראשונות ממפתחים מצביעות על יתרון מעשי. פראניט שארמה, מהנדס תוכנה בחברת Vercel (המפתחת תשתיות לסוכני AI), סיפר כי החברה החליפה את מודל ChatGPT Luna 5.6 של OpenAI - ששימש להרצת מסנן שבודק בטיחות של פקודות - ב-Jev, וקיבלה תשובות מהירות פי 5 עד 18, וגם מדויקות יותר. ניקיל מודולקר, מנכ"ל הטכנולוגיה של Bryo AI, בדק את Jev לצד Gemini למיון אימיילים עסקיים: Gemini היה מדויק במעט יותר, אך יקר פי 10 עד 20. מה שמשך את תשומת לבו יותר היו ציוני הביטחון שהמודל מחזיר - "הוא היחיד שמחזיר הסתברות אמיתית, וזה הופך אותו לאידיאלי לאוטומציה של תהליכי עבודה", כתב.
ארמין רונאכר, מנכ"ל הטכנולוגיה של Earendil (המפתחת את הכלי הקוד-פתוח Pi), מצביע על שימוש נוסף: הפעלת Jev כמפקח זול על סוכני AI אחרים, שמזהה חריגות או ניסיונות jailbreak - משימה שהפעלת סוכן LLM לביצועה הייתה יקרה בהרבה. לדבריו, המודל "מגלגל את בעיית ההזיה חלקית למשתמש": "אם התשובה מגיעה עם הסתברות של 50%, זה כמו הטלת מטבע והמשתמש יתעלם ממנה; אם ההסתברות 95%, אפשר לפעול על פיה". רונאכר מציין גם פוטנציאל ל"ניתוב מודלים" (model routing) - הכרעה מהירה וזולה על איזה מודל כבד יש להפעיל בכל בקשה, משימה שקודם הייתה יקרה מדי לביצוע בזמן אמת.
שם המודל נבחר במכוון: ג'ב הוא כינוי לכלכלן הבריטי בן המאה ה-19 וויליאם סטנלי ג'בונס, שעל שמו נקרא "פרדוקס ג'בונס" - התצפית שלפיה ירידת מחיר של משאב יכולה להוביל לעלייה, ולא לירידה, בהיקף השימוש בו. אלמיידה מקווה שכך יקרה גם ל"אינטליגנציה": ירידת מחירה תוביל להטמעה נרחבת ומבוזרת של תוכנה חכמה, "הרבה יותר דומה לאינטרנט המוקדם מאשר לאפליקציות-העל שמנסים לבנות היום", לדבריו.
TypeSafe AI לא מגלה פרטים על הארכיטקטורה הפנימית של Jev; משקיפים חיצוניים מעריכים שהוא בנוי על גבי מודל שפה בעל משקלים פתוחים (open-weight). ככל הנראה, ההתלהבות מהמודל משקפת מגמה רחבה יותר: לצד המרוץ למודלים ענקיים וכלליים, מתפתחת נישה של מודלים קטנים, מתמחים וזולים בהרבה, שיכולים להתחרות ב-LLM הגדולים במשימות ממוקדות - ואף לפקח עליהם.