בדיקה שערך סטארטאפ הליגל-טק הישראלי Lizzy AI מצאה כי ChatGPT ושני כלי AI ישראלים ייעודיים למשפט הצליחו יותר משאלות מרובות הברירה בבחינת לשכת עורכי הדין מאשר בוגרי הפקולטות המובילות למשפטים בישראל. עם זאת, לפי החברה, ציון גבוה במבחן ידע אינו מעיד בהכרח על אמינות לשימוש מעשי בעבודה משפטית.
בדיקה שערך סטארטאפ ישראלי בתחום הליגל-טק מצאה כי כלי בינה מלאכותית הצליחו לענות נכון על יותר שאלות בבחינת לשכת עורכי הדין מאשר בוגרי הפקולטות המובילות למשפטים בישראל. המודל שהוביל את הרשימה, ChatGPT, ענה נכון על 94.1% מהשאלות מרובות הברירה שנבדקו — נתון גבוה מהציון שרשמו נבחני הפקולטה למשפטים באוניברסיטה העברית, שהובילו בין הנבחנים האנושיים עם 91.82% הצלחה.
הבדיקה, שנחשפה בגיקטיים, נערכה בידי Lizzy AI, סטארטאפ ישראלי המפתח פלטפורמה לניתוח וניסוח מסמכים משפטיים ומשמש כיום יותר מ-8,000 עורכי דין, משרדים וארגונים בישראל. במסגרת הבדיקה נבחנו שישה כלי AI: שלושה מודלים כלליים — ChatGPT, ג'מיני של גוגל וקלוד של אנתרופיק — לצד שלושה כלים ייעודיים לתחום המשפט הישראלי: LawMate, טקדין AI ונבו AI. כל הכלים נבחנו רק על השאלות ״האמריקאיות״ (מרובות הברירה), שמרכיבות 80% מהציון הסופי בבחינת הלשכה, והתוצאות הושוו לנתוני ההצלחה בפועל של נבחנים שניגשו לבחינה בפעם הראשונה במועד יוני האחרון.
לפי הנתונים, ChatGPT הוביל את הטבלה עם 94.1% הצלחה, ואחריו שני הכלים הישראלים LawMate (93.1%) ונבו AI (92.2%). רק במקום הרביעי הופיעו נבחנים אנושיים — בוגרי האוניברסיטה העברית, עם 91.82% הצלחה. טקדין AI רשם 85.9%, מעט לפני נבחני אוניברסיטת תל אביב (85.71%). ג'מיני הגיע ל-84.4%, לפני נבחני אוניברסיטת חיפה (82.61%), נבחני בר-אילן (81.38%) והמכללה למנהל (81.37%). קלוד סגר את הרשימה עם 77.5% הצלחה.
הבדיקה נערכה בחודשים מרץ ואפריל, והתבססה על הגרסאות המתקדמות ביותר שהיו זמינות מכל חברה בזמן הבדיקה: GPT-5.4 במצב Extended Thinking עבור ChatGPT, ג'מיני 3.1 פרו, וקלוד Opus 4.6 גם הוא במצב חשיבה מורחבת.
עם זאת, לפי מאיה אמיר, מנהלת מוצר ב-Lizzy AI שערכה את הבדיקה, ציון גבוה בשאלות ידע אינו מעיד בהכרח על יכולת שימוש מעשי בכלים הללו בעבודה משפטית. לדבריה, ChatGPT מספק הפניה למקורות רק לפי דרישה, ואינו מבצע בקרת איכות עליהם — כך שההפניות עשויות לכלול לעיתים מקורות שאינם מקובלים כבסיס למחקר או לשירות משפטי, כמו בלוגים ופרסומים פרטיים, במקום פסיקה, חקיקה או ספרות משפטית. ההפניות גם נוטות להיות כלליות ולא ממוקדות בתוך ההקשר המלא של המקור, מה שהופך את תהליך האימות לארוך ומורכב יותר. המשמעות היא, ככל הנראה, שהפער בין הצלחה במבחן ידע לבין אמינות לייצוג משפטי בפועל עדיין קיים, גם כשהציונים הפורמליים גבוהים.
Lizzy AI הוקם בידי ארנון קטלן (ממייסדי Screenovate, שנמכרה לאינטל) ונצר שלומאי (לשעבר CTO בחברת Gteko, שנמכרה למיקרוסופט), ושואף להיות התשובה הישראלית לחברת הליגל-טק האמריקאית Harvey, שהוערכה בסבב הגיוס האחרון שלה בכ-11 מיליארד דולר.