Liquid AI משיקה את d1: מודל שלא כותב טקסט, רק מחליט

Liquid AI השיקה ב-29 בספטמבר (לפי שעון ארה"ב) את d1, שלפי סקירה מפורטת שפורסמה ב-note הוא "מודל ההחלטות" הראשון של החברה. בניגוד ל-LLM רגיל, d1 לא כותב טקסט. הוא מקבל רשימה של אפשרויות שהוגדרו מראש ומחזיר הסתברות לכל אחת מהן. המשמעות היא כלי שנועד לאחת המשימות הנפוצות בסוכני AI: להחליט מה לעשות, בלי לייצר תשובה מילולית.

איך זה עובד

המפתח שולח ל-d1 שלושה דברים: שם המודל, "מצב" (state, כלומר טקסט או JSON שעליו מתבססת ההחלטה) ושאלות מוגדרות. אפשר לשלוח כמה שאלות באותה קריאה, והתשובות לכולן חוזרות יחד, על בסיס אותו מצב.

בתיעוד הרשמי מופיעות גם המלצות לשימוש בהסתברויות. בסינון תוכן (moderation), למשל: לחסום מעל 0.8, לאשר מתחת ל-0.2, ולהעביר לבדיקה אנושית את כל מה שבאמצע. בניתוב בין מודלים (routing), ההמלצה היא להעביר את הבקשה למודל חזק יותר כשרמת הביטחון יורדת מתחת ל-0.5. מדריך המעבר מנסח את הכלל כך: אם התשובה היא אחת מ-N אפשרויות ידועות מראש, משתמשים במודל סיווג. אם צריך לחבר טקסט חדש, כמו סיכום, טיוטה, שיחה או קוד, ממשיכים עם LLM.

תואם למתחרה, אבל לא זהה לו

ההחלטה המעניינת של Liquid היא לאמץ את פורמט ה-API של Jev, ה-System One API, במקום להמציא פורמט משלה. לפי התיעוד אפשר להשתמש ב-SDK של TypeSafe כמו שהוא, ורק להפנות את ה-base_url לשרתים של Liquid. גם Vercel AI Gateway מציג את d1 כתואם ל-API הזה.

כותב הסקירה בדק את זה בעצמו: הוא שלח את הדוגמה הרשמית של d1 ל-Jev, שינה רק את שם המודל ואת הכתובת, וזה עבד בכל 15 הניסיונות. אבל בשאלה זהה, d1 החזיר רמת ביטחון של 0.74 ו-Jev החזיר 0.88 עד 0.92. גם ספירת הטוקנים לאותו טקסט הייתה שונה מאוד: 84 ב-d1 לעומת 298 ב-Jev. המסקנה שלו: גם כשהפורמט זהה, אי אפשר להעתיק ספי החלטה והערכות עלות ממודל אחד לאחר. מי שעובר בין המודלים צריך ככל הנראה לכייל אותם מחדש.

מה עומד מאחורי "עוקף את Jev"

בהודעה הרשמית ב-X הציגה Liquid את d1 כמודל הראשון שעוקף את Jev ב-Decision Index, מדד שמתארח ב-Hugging Face. לפי הגרף שפרסמה החברה, d1 גבוה מ-Jev בנקודה אחת בציון הכולל, אבל נמוך ממנו ב-8 נקודות בקטגוריית Knowledge. ליד התוצאות מופיעה ההערה "Internal reproduction", כלומר Liquid הריצה את המדידה בעצמה.

ה-Decision Index עצמו מגדיר את עצמו כמדד לא רשמי שמנוהל על ידי הקהילה, בלי קשר ל-TypeSafe. לפי הסקירה, בבדיקה ב-1 באוקטובר הגרסה האחרונה של המדד (0.2.1) נוצרה ב-28 בספטמבר, ו-d1 לא הופיע בה. גם AI Socratic ציין שבהודעה אין מספיק נתונים על שיטת המדידה ועל התוצאות לפי משימה, ולכן אי אפשר להתייחס אליה כתוצאה שאומתה באופן עצמאי.

גרסאות פתוחות לקצה?

פוסט בקהילת r/LocalLLaMA מתאר גם השקה בשם Open d1, עם שני מודלים בקוד פתוח (open-weight): מודל של 3 מיליארד פרמטרים שמבין טקסט ותמונה, ומודל ניסיוני קטן יותר. לפי הפוסט, המודלים אמורים לרוץ גם על חומרת קצה של אנבידיה. הפרטים האלה טרם אומתו מול הודעה רשמית של החברה, ויש להתייחס אליהם בהתאם.

למה זה חשוב

לפי הסקירה, בשבועיים האחרונים עלה מאוד מספר החברות שמשיקות מודלי סיווג. אחת מהן היא OpenAI, עם Decisions API. ככל הנראה המגמה משקפת הבנה שחלק גדול מהעבודה של סוכני AI הוא החלטות קטנות וחוזרות: לחסום או לאשר, לנתב או לא לנתב. בשביל החלטות כאלה לא צריך מודל שפה מלא ויקר. אם יתברר שהמודלים האלה גם קטנים מספיק לרוץ מקומית, ההחלטות האלה יוכלו לעבור מהענן למכשיר עצמו. בינתיים, הלקח המעשי של הבדיקה העצמאית הוא שתאימות ב-API עדיין לא אומרת תאימות בתוצאות.