Liquid AI משיקה את d1-ultra: מודל שלא כותב תשובות אלא מחזיר הסתברויות

חברת Liquid AI השיקה את d1-ultra. זה לא עוד צ'טבוט אלא מה שהחברה מכנה "מודל החלטות": מודל שמקבל קלט של טקסט ותמונה ומחזיר הסתברויות מכוילות, בהרצה קדימה אחת (forward pass). כך דיווח האתר MarkTechPost. לפי הדיווח, המודל קיבל ציון 65 ב-Decision Index, מדד ההחלטות של חברת ההשוואות Artificial Analysis. המחיר שלו הוא 0.042 דולר למיליון טוקני קלט.

מה זה בעצם "מודל החלטות"

מודלי שפה גדולים (LLM) רגילים מייצרים תשובה מילה אחר מילה. כל טוקן (יחידת טקסט קטנה) שנוצר דורש הרצה נוספת של המודל. כשמשתמשים בהם למשימות סיווג, כמו "האם ההודעה הזו היא ספאם?" או "האם התמונה מפרה את מדיניות האתר?", המודל בדרך כלל כותב תשובה בטקסט, ולפעמים גם הסבר ארוך לפניה. את התשובה הזו צריך אחר כך לפענח.

לפי התיאור, d1-ultra עובד אחרת: הוא מקבל את הקלט, רץ פעם אחת ומחזיר ישירות הסתברות לכל אחת מהאפשרויות. המשמעות המעשית היא ככל הנראה פחות זמן חישוב לכל החלטה ופלט שמערכות תוכנה יכולות לעבוד איתו בלי שלב פענוח.

למה "מכוילות" זו המילה החשובה

הסתברות מכוילת (calibrated) היא הסתברות שאפשר לסמוך על המספר שלה. אם מודל מכויל אומר "80% שזו הונאה" על אלף מקרים, בערך 800 מהם אמורים באמת להיות הונאה. מודלים רבים מצהירים על רמת ביטחון גבוהה גם כשהם טועים, ולכן קשה לבנות עליהם כללים אוטומטיים.

כשהביטחון של מודל משקף את הסיכוי האמיתי, הארגון שמפעיל אותו יכול לקבוע ספים. למשל: מעל 95% פועלים אוטומטית, ובין 60% ל-95% מעבירים לבדיקה אנושית. זו הנחת היסוד של מודל שנבנה מראש לקבלת החלטות ולא לשיחה. עם זאת, הפרסום לא מפרט איך נמדד הכיול או באיזו רמה.

המספרים

• ציון 65 ב-Decision Index של Artificial Analysis. Artificial Analysis היא חברה עצמאית שמפרסמת השוואות ביצועים ומחירים בין מודלי AI. הפרסום לא מפרט מה כולל המדד ואיך דורגו בו מודלים אחרים, ולכן קשה לדעת כרגע מה המיקום היחסי של הציון.
• 0.042 דולר למיליון טוקני קלט. מדובר במחיר נמוך, שמתאים לעבודה בהיקפים גדולים, כמו סינון תוכן או מיון פניות. הפרסום אינו מציין מחיר לפלט. במודל שמחזיר בעיקר הסתברויות ולא טקסט ארוך, ייתכן שעיקר העלות בכלל נמצא בצד הקלט.

פרטים כמו גודל המודל, זמינות כקוד פתוח או דרך הגישה (API או ענן) לא הופיעו בחומרי המקור.

למה זה חשוב

Liquid AI, שצמחה מ-MIT, מוכרת בעיקר בזכות מודלים יעילים שמנסים לעשות יותר עם פחות משאבי חישוב. d1-ultra נראה כהמשך של הקו הזה, בכיוון מוגדר: לא להתחרות בצ'טבוטים הגדולים על כתיבה והסקה, אלא להתמקד במשימה צרה אחת שחוזרת על עצמה מיליוני פעמים ביום בארגונים, והיא לקבל החלטה.

אם הנתונים יחזיקו מעמד בשימוש אמיתי, המשמעות היא ככל הנראה שחברות שמשתמשות היום ב-LLM כללי ויקר לסיווג, לניטור תוכן או לניתוב פניות יוכלו להחליף אותו בכלי זול ומהיר יותר, שגם מספק מספר שאפשר לבנות עליו מדיניות. השאלה הפתוחה היא עד כמה הציון במדד יתורגם לביצועים בתחומים ספציפיים, ואת זה יידעו רק אחרי שהמודל ייבדק מחוץ לפרסום ההשקה.