יאנדקס מציגה את Sona: מודל אחד במקום שרשרת שלמה של מערכות המלצה
יאנדקס הציגה את Sona, מודל המלצות גנרטיבי שבו transformer אחד מבצע גם את איתור המועמדים וגם את הדירוג, בלי מאפיינים שהונדסו ידנית. במבחן A/B בשירות Yandex Music הוא הגדיל את מספר הלייקים ב-11.42%.
יאנדקס הציגה את Sona, מודל המלצות גנרטיבי שמחליף את כל שרשרת ההמלצות המסורתית במודל אחד. לפי דיווח ב-MarkTechPost, במבחן A/B שנערך בשירות הזרמת המוזיקה Yandex Music, מודל transformer יחיד ביצע גם את שלב איתור המועמדים (candidate generation) וגם את שלב הדירוג (ranking), בלי מאפיינים שהונדסו ידנית (hand-engineered features). מספר הלייקים עלה ב-11.42%.
מה זו "מערכת קסקדית"
רוב מערכות ההמלצה הגדולות, אלה שמחליטות איזה שיר יתנגן אחרי השיר הנוכחי, איזה סרטון יופיע בפיד או איזה מוצר יוצג בחנות מקוונת, בנויות כ"קסקדה", כלומר כשרשרת של שלבים. בשלב הראשון כמה מנגנונים מהירים שולפים מתוך מיליוני פריטים כמה מאות או אלפי מועמדים. בשלבים הבאים מודלים כבדים ומדויקים יותר מדרגים אותם ומסננים, עד שנשארת רשימה קצרה שמוצגת למשתמש.
לכל שלב בשרשרת יש בדרך כלל מודל משלו, נתונים משלו וצוות שמתחזק אותו. חלק גדול מהעבודה הוא "הנדסת מאפיינים": מהנדסים מגדירים ידנית אילו אותות המודל יקבל, למשל כמה פעמים המשתמש דילג על ז'אנר מסוים, באיזו שעה הוא מאזין או כמה פופולרי האמן. זו עבודה שוחקת שדורשת התאמות מתמידות.
הגישה הגנרטיבית
Sona נשענת על רעיון שצובר תאוצה בתחום בשנים האחרונות: להתייחס להמלצה כמו לבעיה של מודל שפה. במקום לחזות את המילה הבאה בטקסט, המודל לומד מרצף הפעולות של המשתמש ומנסה לחזות את הפריט הבא שיעניין אותו. כך מודל אחד מבסס את ההחלטה שלו על היסטוריית האינטראקציות עצמה, במקום על אוסף אותות שמישהו בחר מראש.
לפי הדיווח, החידוש של יאנדקס הוא שהמודל לא רק מחליף רכיב אחד בשרשרת אלא מבצע גם את שלב השליפה וגם את שלב הדירוג, שבמערכות רגילות מופרדים זה מזה.
למה זה חשוב
שיפור של 11.42% בלייקים במבחן A/B, שבו קבוצת משתמשים אמיתית מקבלת את המערכת החדשה ומושווית לקבוצה שנשארת עם הישנה, הוא נתון משמעותי בתחום שבו גם שיפורים של אחוזים בודדים נחשבים להישג. ככל הנראה המשמעות רחבה יותר מהמספר עצמו: אם מודל אחד יכול להחליף שרשרת שלמה בלי לוותר על איכות, ואף לשפר אותה, חברות יכולות לפשט תשתיות מורכבות ולצמצם את התלות בהנדסת מאפיינים ידנית.
חשוב לסייג: המקור מתאר תוצאה של מבחן בשירות אחד, Yandex Music. הוא לא מפרט אם Sona תוטמע בשירותים נוספים של החברה, וגם לא מבהיר אם המודל או הקוד שלו יהיו זמינים לציבור. עוד לא ברור עד כמה התוצאה תשתחזר בתחומים אחרים כמו וידאו, מסחר מקוון או חדשות, שבהם דפוסי הצריכה שונים.
עם זאת, הכיוון ברור. הארכיטקטורה שחוללה את מהפכת מודלי השפה מתחילה לחלחל גם למערכות ההמלצה, אחד התחומים הרווחיים בתעשייה. אם התוצאות של יאנדקס יחזיקו מעמד, סביר שחברות נוספות יבחנו אם הן עדיין צריכות שרשרת של מודלים, או שאחד מספיק.