גוגל מציגה את Agile Deliberation: כשאדם עוזר למסווג תמונות להכריע באזורים האפורים

מחלקת המחקר של גוגל פרסמה את Agile Deliberation, מסגרת עבודה מסוג human-in-the-loop, כלומר שיטה שמשאירה אדם בתוך תהליך העבודה של המערכת. מטרתה לעזור למשתמשים להגדיר מושגים חזותיים סובייקטיביים בעזרת תמונות גבוליות. לפי הדיווח ב-MarkTechPost, ב-18 סשנים חיים השיטה העלתה את ציון ה-F1 של מסווג מבוסס Gemini ב-10.5 נקודות לעומת zero-shot.

הבעיה: מושגים בלי גבול ברור

מסווג תמונות הוא מערכת שמחליטה אם תמונה שייכת לקטגוריה מסוימת. כשהקטגוריה חד-משמעית, למשל "יש בתמונה חתול", ההגדרה פשוטה יחסית. הקושי מתחיל במושגים שתלויים בשיפוט אנושי. לשם המחשה בלבד: מה נחשב תמונה "מעוררת תיאבון", או תמונה "לא הולמת" לקהל מסוים? שני אנשים סבירים יכולים לחלוק על אותה תמונה, ולעתים גם מי שמגדיר את הכלל לא יודע לנסח אותו במדויק עד שהוא נתקל במקרה קשה.

כאן נכנסות התמונות הגבוליות. לפי הפרסום, Agile Deliberation נשענת עליהן כדי לעזור למשתמש להגדיר את המושג. ההיגיון הכללי מוכר: מקרה ברור כמעט לא מלמד על גבולות ההגדרה, ואילו מקרה גבולי מחייב הכרעה. המשמעות היא ככל הנראה שההגדרה מתחדדת דרך דיון במקרים קשים, ולא רק דרך ניסוח מופשט מראש.

מה אומרים המספרים

F1 הוא מדד מקובל לאיכות סיווג, שמשלב בין שתי שאלות: כמה מהתמונות שהמערכת סימנה אכן שייכות לקטגוריה, וכמה מהתמונות השייכות לקטגוריה היא הצליחה למצוא. zero-shot הוא מצב שבו מודל מתבקש לבצע משימה בלי שקיבל דוגמאות ייעודיות לה.

ההשוואה, אם כן, היא בין מסווג שפועל על בסיס Gemini בלי התהליך המודרך לבין אותה גישה לאחר עבודה עם אדם. בחומר שעמד לרשותנו אין פירוט של ציוני הבסיס, של המושגים שנבדקו או של זהות המשתתפים, ולכן קשה להעריך את היקף השיפור בכל מקרה ומקרה. גם 18 סשנים הם מדגם מוגבל, אם כי העובדה שמדובר בסשנים חיים מרמזת על בדיקה עם משתמשים ולא רק על הרצה אוטומטית.

למה זה חשוב

המחקר מצביע על כיוון שרלוונטי מעבר לזיהוי תמונות: בעיות רבות של AI אינן נובעות רק מיכולת המודל, אלא מכך שהמשתמש עצמו לא הגדיר עד הסוף מה הוא רוצה. אם התוצאות יחזיקו גם בהיקף רחב יותר, ככל הנראה הערך של שיטות כאלה יורגש בעיקר בתחומים שבהם ההחלטה נשענת על שיקול דעת, כמו סינון תוכן. במקרים כאלה חלק מהשיפור עשוי להגיע מהגדרה טובה יותר של המשימה, ולא בהכרח ממודל גדול יותר.