GLM-Legal של Z.ai עוקף את Claude Fable 5 ו-Kimi K3 במבחן הסוכנים המשפטיים של Harvey

חברת הבינה המלאכותית הסינית Z.ai הציגה את GLM-Legal, מודל שפה ייעודי לעבודה משפטית. לפי דיווח ב-MarkTechPost, המודל השיג ציון של 19.2% all-pass במבחן Legal Agent Benchmark (LAB) של Harvey. לפי הדיווח זה כמעט פי 3 מהציון של מודל הבסיס שעליו נבנה, ו-GLM-Legal עקף בו את Claude Fable 5 של אנתרופיק ואת Kimi K3. העלות היא 0.15 דולר לבדיקה. המודל לא פתוח לכולם: כדי לקבל גישה צריך להגיש בקשה.

מודל קטן עם התמחות אחת

GLM-Legal מבוסס על GLM-5.3-Flash. לפי השם, זו ככל הנראה גרסה קלה ומהירה ממשפחת GLM של החברה, ולא מודל הדגל. כאן נמצא עיקר הסיפור: Z.ai לא בנתה מודל ענק חדש. היא לקחה מודל בסיס זול יחסית והתאימה אותו לתחום אחד. במקרה הזה, ההתאמה כמעט שילשה את הביצועים במבחן.

המבחן עצמו שייך ל-Harvey, חברה שמפתחת כלי AI לעורכי דין ולמשרדי עורכי דין. הוא נקרא "מבחן סוכנים משפטיים". סוכן AI (agent) הוא מערכת שלא רק עונה על שאלה, אלא מבצעת משימה של כמה שלבים. בתחום המשפטי זה יכול להיות עיון במסמכים, ניתוח שלהם והפקת תוצר עבודה. המדד all-pass מתאר ככל הנראה את שיעור המשימות שבהן המודל עמד בכל הדרישות, ולא רק בחלק מהן. זה מדד מחמיר, וזה מסביר למה הציון נראה נמוך במבט ראשון.

איך לקרוא את המספרים

19.2% לא נשמע כמו ציון מרשים. אבל במבחנים מהסוג הזה, שבהם טעות אחת בשרשרת פוסלת את כל המשימה, גם הציון הזה עשוי להספיק כדי לעקוף מודלים כלליים חזקים. לפי הדיווח, זה בדיוק מה שקרה מול Claude Fable 5 ו-Kimi K3. ציוני המתחרים לא פורטו במקור, ולכן אי אפשר לדעת כמה גדול הפער.

גם הנתון של 0.15 דולר לבדיקה חשוב. בעבודה משפטית, שבה כל משימה דורשת קריאה של כמויות טקסט גדולות, עלות ההרצה קובעת במידה רבה אם הכלי ישתלם לשימוש יומיומי. מודל שבנוי על גרסת Flash מכוון ככל הנראה בדיוק לנקודה הזו: ביצועים סבירים במחיר נמוך.

למה הגישה מוגבלת

ההחלטה לחלק גישה רק בבקשה בולטת. Z.ai שחררה בעבר חלק ממודלי GLM בקוד פתוח (open source), אבל המודל המשפטי לא נמסר לשימוש חופשי. המקור לא מציין את הסיבה. הערכה סבירה היא שבתחום רגיש כמו משפט, שבו טעות עלולה לגרום נזק ממשי ללקוח, החברה מעדיפה לבחור לקוחות בעצמה וללוות את הפריסה.

המשמעות

GLM-Legal מצטרף למגמה רחבה בתעשייה: מעבר ממודל כללי אחד שעושה הכול למודלים ממוקדים לתחומים מקצועיים. אם התוצאות יחזיקו גם מחוץ למבחן, המשמעות היא שהתאמה לתחום ספציפי יכולה לקזז הבדלים בגודל המודל ובעלות. זה עשוי לעניין משרדי עורכי דין ומחלקות משפטיות שמחפשים חלופה זולה למודלים הכלליים המובילים.

עם זאת, יש מקום לזהירות. מדובר בתוצאה במבחן אחד, והמספרים פורסמו בהקשר של השקת המוצר. את הביצועים בעבודה משפטית אמיתית, עם מסמכים אמיתיים ולקוחות אמיתיים, יקבעו רק השימוש בשטח ובדיקות בלתי תלויות.