ריצ'רד סאטון: הגדלת מודלי השפה לבדה לא תביא לאינטליגנציה

ריצ'רד סאטון, זוכה פרס טיורינג ואחד החוקרים המשפיעים בתחום הלמידה החיזוקית (reinforcement learning), כתב בפוסט חדש ב-X שכוח מחשוב גולמי לבדו לא מספיק כדי להגיע לאינטליגנציה. לדבריו, מדע ה-AI זקוק לשיטות חדשות ומתוחכמות, והוא "רחוק מלהיות גמור". הפוסט עורר דיון ער בקהילת ה-AI, כך דיווח האתר The Decoder.

האיש שמאחורי "הלקח המר"

מה שנותן לדברים משקל הוא זהות הכותב. ב-2019 פרסם סאטון את המסה "The Bitter Lesson" (הלקח המר), שבה טען שבסופו של דבר, שיטות כלליות שמשתפרות ככל שמוסיפים להן כוח מחשוב מנצחות גישות מתוחכמות שבני אדם תכננו בעבודת יד. מאז הפכה המסה לטקסט יסוד בעיני רבים מתומכי הגישה של הגדלת מודלי שפה גדולים (LLM): עוד נתונים, עוד מחשוב, מודלים גדולים יותר.

אבל סאטון עצמו כבר הביע בעבר ספקות לגבי הכיוון הזה. לפי The Decoder, הוא כינה את השימוש בנתונים סינתטיים "טעות גדולה", מפני שהעולם האמיתי מורכב לאין שיעור וכל סימולציה שלו היא "מיקרוסקופית". הוא גם טען שהתלות במומחיות אנושית היא צוואר בקבוק שמונע הגדלה אמיתית. החלופה שהוא מציע: סוכנים עם מודלים של העולם (world models) שלומדים כל הזמן מהניסיון שלהם עצמם. לטענתו, העולם מורכב בהרבה ממה שטקסט מהאינטרנט מסוגל לתפוס, ומודלי השפה של היום מפסיקים ללמוד ברגע שהאימון שלהם מסתיים. מה שנדרש לדבריו הוא למידה מתמשכת, שלא מוחקת את הידע הקודם.

"שטף את המוח של דור שלם"

ג'רי טוורק, חוקר AI שעזב את OpenAI כדי לחקור גישות חדשות, מציב את דברי סאטון בהקשר רחב יותר. לדבריו, הלקח המר עדיין תקף, אבל ככל שמשקיעים יותר מחשוב באימון, האלגוריתם עצמו חשוב יותר: יש אלגוריתמים שמשתפרים עם ההגדלה ויש כאלה שנתקעים במבוי סתום, ומימדים רבים של הגדלה עדיין לא נחקרו כלל. לטענתו, ההצלחה הזמנית של הגדלת ה-transformer (הארכיטקטורה שעליה בנויים מודלי השפה), יחד עם קריאה שגויה של הלקח המר, "עשתה reward hacking למוחות של דור שלם של מדענים". הכוונה למצב שבו מערכת לומדת למקסם את המדד שנקבע לה במקום להשיג את המטרה האמיתית.

החוקר ג'יידן טאו מוסיף זווית אחרת. לדבריו, הוא ראה שוב ושוב איך הלקח המר מעכב מחקר אקדמי, כשרעיונות מבטיחים נדחים מפני שהם רחוקים מדי מרוח המסה. טאו מדגיש שזו לא אשמתו של סאטון אלא פרשנות שגויה של המסר שלו. "רעיון לא חייב לשרוד את ההגדלה לנצח כדי להיות תרומה חשובה להתקדמות ה-AI", כתב.

הסטארטאפים שמהמרים על הפער

המחלוקת כבר מתורגמת לכסף ולחברות. The Decoder מונה 45 מעבדות AI חדשות שמהמרות בדיוק על הפערים האלה. טוורק עצמו מנהל את Core Automation, שמחפשת אלגוריתמי למידה מעבר לשיטות המקובלות היום: pretraining (אימון מקדים על כמויות עצומות של טקסט) ולמידה חיזוקית. גם לסאטון יש מעבדה משלו, Oak Lab. המשותף למייסדים האלה הוא האמונה שאפשר להגיע ל-AI מסוגל בהרבה, לצד ספק אם המתכון הנוכחי לבדו יביא לשם.

הצד השני: ההגדלה רחוקה ממיצוי

בצמרת התעשייה רואים את התמונה אחרת. מנכ"ל OpenAI סם אלטמן סבור שהגדלת מודלי השפה רחוקה ממיצוי, ומאשים את המבקרים בכך שהם מאטים דור שלם של חוקרים כשהם בטוחים מדי במה שההגדלה לא תוכל לעשות. כראיה הוא מציין מודל של OpenAI שלדבריו הפריך לאחרונה השערה מתמטית שמתמטיקאים לא הצליחו לפצח במשך שנים. אלטמן רואה תועלת במודלים של העולם, למשל ברובוטיקה, אבל לדבריו הנתונים תומכים בבירור בהמשך ההגדלה. מנכ"ל אנתרופיק דריו אמודיי טוען בדומה, ומשווה את התקדמות ההגדלה לקשת שאין לה סוף.

כדאי לזכור ששני המנכ"לים עומדים בראש החברות שכל הגישה הטכנולוגית שלהן נשענת על ההימור הזה, ולכן יש להם אינטרס ברור. ככל הנראה, המבחן האמיתי לא יוכרע בוויכוחים ב-X אלא בתוצאות: אם המעבדות החדשות יצליחו להראות שיטות למידה שמתקדמות מהר יותר מהגדלה רגילה, ייתכן שהוויכוח הזה ייראה בדיעבד כנקודת מפנה.