קבוצת AI Frontiers של מיקרוסופט מגיעה לסופה, וג'ון לנגפורד עוזב

ג'ון לנגפורד, מהחוקרים הבולטים ב-Microsoft Research ‏(MSR), עוזב את מיקרוסופט, ולדבריו קבוצת המחקר AI Frontiers ‏(AIF) שהקים בתוך MSR הגיעה לסופה. לנגפורד פרסם את הדברים בפוסט בבלוג שלו, hunch.net, תחת הכותרת "The end of Microsoft Research's AI Frontiers group". Business Examiner דיווח על עזיבתו והציג את הקבוצה כמי שסיימה את דרכה.

קבוצה שנולדה מתוך הלחץ של ChatGPT

לפי הפוסט של לנגפורד, הקבוצה הוקמה ב-2023, אחרי השקת ChatGPT. הוא כותב שבאותה תקופה התברר לו שמחקר צריך להיות מאורגן יותר ממה שהיה נהוג ב-MSR. בעולם שבו קבוצות מחקר אחרות משקיעות משאבים ומיקוד רבים, גם רעיון חכם שחוקר אחד מקדם לבדו עלול להגיע מאוחר מדי ובלי מספיק ראיות לכך שהוא עובד. לנגפורד וכמה עמיתים הקימו את AIF כיחידה בתוך MSR.

הקבוצה מנתה כ-50 איש. לדברי לנגפורד, רוב העבודה בה עסקה בשאלה איך לגרום לסוכני AI לעבוד, למשל במסגרת לתזמור סוכנים Autogen ובסוכן Fara, שמפעיל מחשב בעצמו (computer use). בניו יורק עבדו לנגפורד ועמיתיו גם על יכולות בסיסיות חדשות: Next Latent, מטרת אימון שמאפשרת למודל להכליל מעבר לנתונים שראה; Dion3, גרסה משופרת של האופטימייזר Muon; ו-Full Bandwidth Transformer, ארכיטקטורה שלדבריו מגבירה מאוד את יכולות המודל באמצעות רקורסיה. עוד הוא מספר שהקבוצה בנתה monorepo, מאגר קוד אחד ומשותף, שהיה פתוח כברירת מחדל לכל MSR. במאגר היה גם קוד לאימון מודלים (pretraining), שלנגפורד הציג בהרצאה המרכזית שנשא בכנס COLM.

הארגון מחדש: "הם פשוט לא באמת רצו אותנו"

בתחילת ספטמבר הועברה AIF לחטיבת Microsoft AI ‏(MAI). לנגפורד מודה שעל הנייר למהלך היה היגיון, כי איחוד שני ארגוני AI יכול לרכז את המאמץ. בפועל, לדבריו, נוצרו בעיות מהותיות, משום שהגישה של הנהלת MAI, שהגיעה מ-Inflection, לא התאימה לגישה של הקבוצה. הוא מתאר את הגישה הזו כ-scaling, כלומר הגדלת מודלים, ו"באופן אגרסיבי לא מחקר". בסביבה כזו, הוא מסביר, רוב המאמץ מוקדש להשגת נתונים, לייצורם ולשיפורם, וזה רחוק ממה שהקבוצה עסקה בו. הוא מוסיף שהיו "הרבה ראיות שהם פשוט לא באמת רצו אותנו".

לנגפורד מכיר בכך שמבחינה עסקית, התשואה מהגדלת מודלים צפויה יותר מהתשואה ממחקר. עם זאת, לדעתו הגישה הזו שגויה. כדוגמה הוא מביא ניסויים של בייטדאנס, שלדבריו מרמזים שגרסה של Full Bandwidth Transformer עשויה להשתוות למודל בגודל כפול. המשמעות היא חיסכון ניכר בעלויות האימון וההרצה של מודל עם אותן יכולות, בתעשייה שההשקעות בה מתקרבות לטריליון דולר.

הוא כותב ש"מיקם את האנשים שלו הכי טוב שיכול" ועזב, ושגם כל שאר חברי צוות ההנהלה המייסד של AIF הגיעו, ככל הנראה, למסקנה דומה. לדבריו, הוא לא חזר ל-MSR משתי סיבות. הראשונה היא שאין למחקר שלו דרך להגיע לשימוש אמיתי בחברה. השנייה היא שלתחושתו "העסקה הבסיסית" ב-MSR, שבה עבודה טובה מובילה לתוצאות טובות, כבר לא מתקיימת: "עשינו עבודה טובה ואורגנו מחדש בלי הסכמתנו".

למה זה חשוב

המקרה ממחיש ויכוח שמתנהל בתעשיית ה-AI: האם להשקיע בעיקר בהגדלת מודלים ובנתונים, או לשמור מקום למחקר בסיסי שעשוי לשפר את היעילות. העזיבה של לנגפורד, והמסקנה הדומה שאליה הגיעה ככל הנראה שאר הנהלת הקבוצה, מרמזות שבמיקרוסופט, לפחות בחטיבת MAI, הכף נוטה כרגע להגדלת מודלים. כדאי לזכור שהתמונה כאן מבוססת בעיקר על עדות אישית של לנגפורד, ומיקרוסופט לא הגיבה עליה בחומרים שעמדו לרשותנו.