Perplexity ואנבידיה מציגות את JOLT: מודל אחד שמשמש גם מורה וגם תלמיד

חוקרים מ-Perplexity ומאנבידיה הציגו שיטת אימון חדשה למודלי שפה בשם JOLT. היא מאמנת מודל אחד בשני תפקידים במקביל: מורה ותלמיד. לפי הכתבה ב-MarkTechPost, במבחן המתמטיקה MATH הגיעה השיטה לדיוק של GRPO, אחת משיטות האימון המקובלות היום, אחרי עיבוד של פי 6.5 פחות טוקנים באימון.

מה בדיוק הוצג

JOLT היא שיטת post-training, כלומר אימון שמגיע אחרי שהמודל כבר עבר אימון בסיסי על כמויות גדולות של טקסט. בשלב הזה מלמדים את המודל לפתור משימות מסוימות טוב יותר, ובהן בעיות מתמטיקה. הכתבה מגדירה את השיטה כשיטת reinforcement learning (למידת חיזוק) משותפת למורה ולתלמיד. בלמידת חיזוק המודל מנסה, מקבל משוב על התוצאה ומשתפר בהתאם.

החידוש, לפי התיאור, הוא באיחוד התפקידים. בגישות "מורה-תלמיד" מוכרות, למשל distillation (זיקוק), בדרך כלל יש מודל מורה גדול ונפרד שמעביר ידע למודל תלמיד קטן יותר. ב-JOLT, לפי הדיווח, אותו מודל ממלא את שני התפקידים. חומרי המקור אינם מפרטים איך המנגנון עובד בפועל, באילו גודלי מודלים נעשו הניסויים ומהם נתוני הדיוק המוחלטים.

למה המספר 6.5 מעניין

GRPO היא שיטת למידת חיזוק שתפסה מקום מרכזי באימון מודלים לחשיבה מתמטית ולוגית. בשיטה כזאת המודל מייצר הרבה פתרונות אפשריים לכל בעיה, וכל טוקן (יחידת טקסט קטנה) שנוצר ומעובד עולה בזמן מחשוב. לכן מספר הטוקנים שעובדו באימון הוא מדד סביר לעלות האימון.

אם התוצאה תחזיק, המשמעות ככל הנראה היא שאפשר להגיע לאותה רמת ביצועים בפחות זמן GPU ובפחות כסף. זה רלוונטי במיוחד לחברות שמאמנות מודלים משלהן ולא רק משתמשות במודלים של אחרים. Perplexity, שמפעילה מנוע חיפוש מבוסס AI, היא דוגמה לחברה כזאת. מעורבותה של אנבידיה, שמוכרת את החומרה שעליה רצים רוב האימונים, מעידה ככל הנראה שגם יצרנית השבבים מתעניינת בשיטות שמנצלות את החומרה ביעילות רבה יותר.

הסתייגויות

כדאי לקרוא את הנתון בזהירות. התוצאה שדווחה נוגעת למבחן אחד, MATH, וההשוואה היא ליעילות האימון ולא לשיפור בדיוק עצמו. השיטה הגיעה לדיוק של GRPO, לא עברה אותו. מקור הממצאים בכתבה טכנית שמסכמת את עבודת החוקרים, ועדיין לא ברור אם היתרון נשמר במודלים גדולים יותר, בתחומים אחרים מלבד מתמטיקה או אצל צוותי מחקר אחרים שינסו לשחזר אותו.

אם התוצאות ישוחזרו, ייתכן ש-JOLT תצטרף לשורה של שיטות שמנסות להוזיל את שלב למידת החיזוק, שהפך בשנים האחרונות לאחד החלקים היקרים בפיתוח מודלים. בינתיים זו תוצאה מעניינת שעוד לא הוכחה.