מבחן מס לסוכני AI: גם המודל המוביל עבר רק כ-11% מהמשימות

חברת Surge AI פרסמה מבחן ביצועים (benchmark) חדש בשם DAYJOB: Tax. המבחן בודק סוכני AI על 50 משימות מס מקצועיות, והתוצאות נמוכות: המודל המוביל, Claude Sonnet 5.5 של אנתרופיק, עמד בדרישות רק ב-10.8% מהניסיונות. אחריו נמצאים Claude Fable 5.1 עם 9.6% ו-Claude Opus 5.5 עם 9.2%.

מקרה הדירה של אנה

Surge פותחת את הדו"ח בדוגמה אחת. אנה, לקוחה בדויה, עזבה את הדירה שבבעלותה באוגוסט 2024. היא שואלת אם עדיף לה מבחינת מס לסגור את המכירה באוקטובר 2026 או בינואר 2027. סוכן ה-AI בדק את שני המועדים וקבע נכון שבשניהם היא עומדת בתנאי המגורים לפטור. מדובר בפטור על רווח הון של עד 250 אלף דולר.

אבל הסוכן לא הזכיר מועד חשוב אחד. כדי לקבל את הפטור, בעל הנכס צריך לגור בו לפחות שנתיים מתוך חמש השנים שלפני המכירה. אנה עזבה באוגוסט 2024, ולכן היא תפסיק לעמוד בתנאי בסביבות סוף אוגוסט 2027. אם המכירה תתעכב מעבר לזה, היא עלולה לאבד את הפטור. לפי הדו"ח, מודל בשם Astra לא זיהה את המועד הזה באף אחד מחמשת הניסיונות. Opus זיהה אותו בכל החמישה.

"יועץ מס צריך לזהות סוגיות בעלות השלכות גם כשהלקוח לא יודע לשאול עליהן", כותבים ב-Surge. לדבריהם, זה בדיוק סוג שיקול הדעת המקצועי שהמבחן בודק.

מה יש בתוך המבחן

המשימות מתחלקות לשמונה תחומים: מס ליחידים ומשפחות, עסקים קטנים, שותפויות, נדל"ן והשקעות, עיזבונות, מתנות ונאמנויות, מיסוי בינלאומי, עסקאות תאגידיות, וביקורת ומחלוקות מס. הסוכנים מקבלים בקשה של לקוח ואת המסמכים שלו. בסוף הם צריכים להגיש דוחות מס, ניירות עבודה, ביקורת מקצועית או ייעוץ ללקוח.

החומר רחב: 1,789 קבצים בסך הכול, חציון של 30 קבצים למשימה ועד 123 במשימה אחת. ביניהם 1,487 קובצי PDF, ‏117 גיליונות Excel, ‏38 מסמכי Word, וגם מיילים, תמונות וקובצי CSV ו-JSON. יש שם דוחות מס, טופסי K-1 ו-W-2, הודעות מרשות המסים האמריקאית (IRS), ספרי חשבונות וחוזים.

חלק מהחומר לא מסודר בכלל. באחת המשימות הסוכן צריך לקרוא צילום של קבלה בכתב יד על סחורה שנקנתה למכירה חוזרת, להתאים אותה לרישומי ההוצאות ולקבוע איך היא משפיעה על המלאי ועל עלות המכר. במשימה אחרת הלקוח, חברה לשירותי ממגורות, בטוח שהיא פועלת רק באלבמה. אבל יומן השיגור של הצוותים מראה עבודה בחמש מדינות, וזה רלוונטי לחובות המס של החברה בכמה מדינות.

איך מודדים הצלחה

כל משימה נבנתה בידי מומחי מס ועברה בדיקה מקצועית בשלוש שכבות: נכונות, שלמות והאם בכלל אפשר לפתור אותה. ניסיון נחשב הצלחה רק אם הוא עומד ב-95% לפחות מהקריטריונים של המשימה. הקריטריונים כוללים את החישובים, את הראיות התומכות, את הסוגיות המהותיות ואת התוצר הסופי. Surge השוותה גם בין ביצועים לעלות הממוצעת של כל ניסיון. לדבריה, Sonnet 5.5 ו-Opus 5.5 נמצאים בקצה הביצועים הגבוהים של חזית היעילות, כלומר מבין המודלים שעל החזית, הם אלה שמשיגים את הביצועים הגבוהים ביותר.

למה זה חשוב

רף של 95% הוא מחמיר. ככל הנראה זה חלק מההסבר למספרים הנמוכים, ולכן הם לא אומרים שהסוכנים טועים בכ-90% מהעבודה. לפי ההערכה, הם אומרים שכמעט אף פעם הסוכנים לא מגישים עבודה שלמה ברמה שמומחה היה חותם עליה.

הדוגמה של אנה מראה גם איפה נמצא הפער. הסוכן לא טעה בחישוב. הוא פספס את מה שלא נשאל עליו. המשמעות לציבור הרחב היא שסוכני AI כבר יכולים לעזור בעבודה מקצועית מורכבת, אבל עדיין צריך מומחה שיבדוק את התוצאה. זה נכון במיוחד כשמדובר בהחלטות כספיות גדולות.

המבחן הוא חלק מסדרת DAYJOB של Surge, שכבר כוללת מבחנים בתחומי הבריאות והפיננסים.