OpenAI מציגה את LifeVal: מדד שבודק עד כמה AI עוזר במשימות היומיום

OpenAI הציגה מדד חדש בשם LifeVal. לפי החברה, הוא נועד למדוד עד כמה AI עוזר לאנשים להשלים משימות יומיומיות. בהודעה הרשמית מופיעות שלוש דוגמאות: מציאת מסגרת לילדים (childcare), ניהול כספים והתמודדות עם ניירת ממשלתית.

מה זה בעצם benchmark

בעולם ה-AI, benchmark הוא מבחן סטנדרטי שמאפשר להשוות בין מודלים שונים, או בין גרסאות של אותו מודל. רוב המבחנים המוכרים בתחום בודקים עד היום יכולות "אקדמיות": פתרון בעיות במתמטיקה, כתיבת קוד, ידע מדעי או הבנת הנקרא. ציונים גבוהים במבחנים כאלה מככבים כמעט בכל הכרזה על מודל חדש.

LifeVal מנסה ככל הנראה לבדוק משהו אחר. השאלה היא לא כמה המודל "חכם" במבחן, אלא האם הוא עוזר לאדם רגיל להתקדם במשימה שהוא צריך לבצע. ההבדל אינו טריוויאלי. מודל יכול לפתור תרגיל מתמטי מסובך ועדיין להתקשות להסביר בבירור איך ממלאים טופס בירוקרטי, או לעזור לשקול בין כמה אפשרויות טיפול בילדים לפי תקציב, מיקום ושעות.

מה עדיין לא ידוע

ההודעה של OpenAI מתארת את המטרה הכללית של המדד, אבל בחומרים שעמדו לרשותנו אין פירוט מלא של השיטה: כמה משימות כוללים המבחנים, איך נמדדת "עזרה", אילו מודלים נבדקו ואילו תוצאות התקבלו. בלי הפרטים האלה קשה להעריך עד כמה המדד מחמיר ועד כמה הוא משקף שימוש אמיתי.

עוד שאלה פתוחה היא ההקשר המקומי. משימות כמו ניירת ממשלתית או ניהול כספים תלויות מאוד במדינה, בחוקים ובמוסדות. סביר להניח שמדד שנבנה בארצות הברית ישקף בעיקר את המציאות שם. לכן לא ברור עד כמה התוצאות יעידו על יכולת של צ'טבוט להתמודד, למשל, עם ביטוח לאומי או עם רשות המסים בישראל.

למה זה חשוב

המשמעות של המהלך היא ככל הנראה שינוי בהדגשים יותר מאשר קפיצה טכנולוגית. LifeVal לא משנה את המודלים עצמם, הוא משנה את מה שמודדים. וכשחברה מגדירה מבחן, היא גם מסמנת מה נחשב בעיניה להצלחה. מדד שמתמקד בחיי היומיום משדר שהיעד הוא לא רק מודל שמנצח במבחנים, אלא מוצר ששימושי למשתמשים שאינם מתכנתים או חוקרים.

יש לכך גם צד שכדאי לזכור: כשחברה מפתחת מדד ובודקת בו גם את המוצרים שלה, יש מקום לזהירות בפרשנות התוצאות. האמינות של LifeVal תלויה בין השאר בכמה שקופה תהיה המתודולוגיה, ובשאלה אם גורמים חיצוניים יוכלו להריץ אותו בעצמם.

בשורה התחתונה, זה לא אירוע שמשנה את התחום. אבל זה צעד שמכוון את הדיון לשאלה שרוב המשתמשים שואלים: לא כמה הבינה המלאכותית חכמה, אלא כמה היא באמת עוזרת.