מחקר: 90% משעות העבודה בארה"ב עוסקות במשימות שהבנצ'מרקים של AI כמעט לא בודקים

כשחברות AI מכריזות שמודל חדש "עקף" את קודמו, הן מסתמכות בדרך כלל על בנצ'מרקים, כלומר מבחנים סטנדרטיים שבודקים את המודל במשימות מוגדרות. מחקר חדש של חברת Mercor מצביע על פער גדול בשיטה הזאת: לפי מפת הבנצ'מרקים שפרסמה החברה, כ-90% משעות העבודה בארה"ב מוקדשות למשימות שהבנצ'מרקים הקיימים מכסים מעט מאוד או לא מכסים בכלל.

איך נבנתה המפה

החוקרים נשענו על O*NET, מאגר הסיווג של משרד העבודה האמריקאי. הוא מחלק את כוח העבודה ל-923 משלחי יד, ולכל אחד מהם מוגדרת רשימת משימות. בסך הכול יש במאגר 18,797 משימות. לעורכי דין, למשל, מוגדרות 22 משימות, ובהן ניסוח ובדיקה של מסמכים משפטיים, ייעוץ ללקוחות ופיקוח על עוזרים משפטיים.

מול המשימות האלה מיפו ב-Mercor שאלות ותרגילים (prompts) מתוך 29 בנצ'מרקים. הבנצ'מרקים נבחרו לפי כמה קריטריונים: לפחות 25 משימות זמינות לציבור, משימות אגנטיות שבהן המודל צריך לבצע עבודה בעצמו ולא רק לענות או לייעץ, דמיון למשימות אמיתיות בארגונים וגיוון כלכלי. ברשימה נכללו גם בנצ'מרקי APEX של Mercor עצמה, שלגביהם יש לחברה גישה גם לשאלות שלא פורסמו.

התמונה שעולה

הנתון המרכזי הוא שרק ב-208 מתוך 923 משלחי היד יש לפחות משימה אחת שמכוסה בחמישה פרומפטים לפחות. ב-6 מתוך 22 משפחות המקצועות אין אף משלח יד שעומד ברף הזה.

הפערים בין התחומים גדולים. לפי המפה, 29 מתוך 36 משלחי היד בתחום המחשבים והמתמטיקה מכוסים, וכך גם 33 מתוך 48 בתחום העסקים והפיננסים. לעומת זאת, רק 12 מתוך 89 משלחי היד של אנשי מקצוע בתחום הבריאות מכוסים, ובתחום החינוך והספריות 9 מתוך 62.

לפי Mercor, הכיסוי גם אינו אקראי. ניתוח סטטיסטי שערכו החוקרים מראה שקהילת ה-AI מתמקדת קודם כול בשוקי העבודה הגדולים: ככל שסך השכר המשולם במקצוע גבוה יותר, גדל הסיכוי שהמשימות שלו ייבדקו. החוקרים מביאים דוגמה מעולם המשפט. המשימות של עורכי דין מכוסות היטב בבנצ'מרקים, אבל המשימות של מזכירות משפטיות ושל עובדי מזכירות בתי משפט כמעט לא מכוסות, אף שלפי מדד החשיפה ל-AI שבו השתמשו (מתוך מחקר של Eloundou ועמיתים מ-2023) גם הן חשופות במידה דומה. לדבריהם, "הזנב הארוך של משרות ידע קטנות יותר, בשכר בינוני, נראה מכוסה בחסר".

למה זה חשוב

המשמעות, כפי שהחוקרים עצמם מנסחים אותה, היא שקשה מאוד לדעת עד כמה מודלי AI טובים בעבודה שאמריקאים עושים בפועל. ציונים גבוהים בבנצ'מרקים מעידים ככל הנראה בעיקר על תחומים כמו תכנות, פיננסים ומשפט, ואומרים מעט על מקצועות כמו סיעוד, הוראה או עבודה משרדית.

לקורא שמנסה להבין את השפעת ה-AI על שוק העבודה זו הערה חשובה. מצד אחד, יכולות המודלים במקצועות רבים עשויות להיות מוערכות בחסר או ביתר, פשוט כי אף אחד לא מודד אותן. מצד שני, כדאי לזכור שהמחקר בוחן רשימה התחלתית ומוגבלת של 29 בנצ'מרקים, ושלפי החברה מדובר ב"צעד ראשון". חשוב גם לזכור ש-Mercor היא צד מעוניין: היא מפתחת בנצ'מרקים משלה, ומצהירה שבכוונתה לעזור לסגור את הפערים שהמפה חושפת.