Von: מודל קוד פתוח מציג ביצועים גבוהים מהמערכת הקניינית Jev

מפתח בשם wfzyx פרסם מודל שפה קוד פתוח בשם Von, המיועד למשימות סיווג והחלטה מהירות במקום שימוש במודלי שפה גדולים (LLM) יקרים ואיטיים יותר. לפי הנתונים שפורסמו במאגר הקוד ב-GitHub ובעמוד המודל ב-Hugging Face, Von משיג דיוק של 91.23% במבחן היגיון אדברסרי מרובה-שלבים (multi-hop reasoning), לעומת 88.30% של המערכת הקניינית Jev של חברת TypeSafe — הפלטפורמה שאותה Von נועד להחליף.

ההבדל המרכזי הוא ארכיטקטוני. מודלי שפה רגילים, כמו אלה שמניעים צ'אטבוטים, מייצרים טקסט מילה-מילה (autoregressive) גם כשהמשימה בפועל פשוטה — למשל סיווג פנייה של לקוח לתור הנכון, או בדיקה האם תוכן מפר מדיניות. לפי תיעוד הפרויקט, תהליך כזה גורר זמן תגובה של 500 עד 2,000 מילישניות, ולעיתים מחזיר תשובות שאינן תואמות את הפורמט המבוקש. Von, לעומת זאת, מבוסס על encoder דו-כיווני מסוג ModernBERT-Large בגודל 395 מיליון פרמטרים (כ-1.5GB), ומחזיר תשובה בפעימה חישובית אחת — ללא ייצור טקסט — תוך כ-25 מילישניות על GPU וכ-300 מילישניות על מעבד רגיל (CPU).

המודל אומן בשיטה שמכונה RLCD (Reinforcement Learning with Calibration Distribution), על 250,000 דוגמאות מאוזנות ממאגרי היגיון ידועים — ANLI, WANLI, MultiNLI ו-SNLI. שיטת האימון נועדה לכייל את רמות הביטחון שהמודל מחזיר, כך שההסתברות שהוא נותן לתשובה תשקף בצורה מדויקת יותר את הסיכוי האמיתי לטעות בה — תכונה המכונה "כיול" (calibration).

מעבר למדד הכללי, פורסם גם פירוט לפי סוגי משימות: בניתוב פניות שירות לקוחות Von הגיע ל-94.60% לעומת 91.80% ל-Jev, ובבדיקות guardrails ומדיניות תוכן — 93.10% לעומת 89.50%. Von מציע שלוש פונקציות עבודה: Choice לבחירה בין קטגוריות, Noul לאימות תנאי בינארי (כן/לא), ו-Score לדירוג רציף על סולם סדור. המודל זמין להתקנה מקומית וללא עלות תחת רישיון קוד פתוח מסוג Apache-2.0, בעוד Jev הוא שירות ענן בתשלום של 0.042 דולר למיליון טוקנים.

המפתח שיתף את ההכרזה גם בקהילת r/LocalLLaMA ברדיט, וציין שם כי המודל רץ במלואו על מעבד רגיל עם 1–2 ג'יגהבייט זיכרון.

המשמעות: אם הנתונים שפרסם המפתח יעמדו גם במבחן שימוש רחב יותר, מדובר בדוגמה למגמה רחבה יותר בתעשייה — הפרדה בין משימות שדורשות באמת יצירת טקסט חופשי, לבין משימות החלטה פשוטות (סיווג, אימות, דירוג) שניתן להריץ במודלים קטנים בהרבה, מקומית וללא עלות תפעולית שוטפת. חשוב לציין שהבנצ'מרקים שהוצגו הם נתונים שפרסם המפתח עצמו, וכי נכון לעכשיו לא פורסם אימות עצמאי חיצוני להשוואה מול Jev.