חוקר לשעבר באנתרופיק טוען שאפשר לאמן מחדש את Mythos בשבריר מכוח החישוב המקורי

ג'ייקוב קוקסון, חוקר לשעבר ב-OpenAI ובאנתרופיק, טוען שאנתרופיק כבר מסוגלת לאמן מחדש את המודל Mythos ב"שבריר מכוח החישוב שנדרש במקור", וקורא להשהות בשנה הבאה את פיתוח מודלי הגבול (frontier models, המודלים המתקדמים ביותר). כך דיווח האתר The Decoder ב-14 בנובמבר, על סמך דברים שקוקסון פרסם ב-X.

הטענה נשענת על שקף אחד שאנתרופיק הציגה ברודשואו של ההנפקה שלה, סבב המצגות למשקיעים שקודם להנפקה. השקף מציג מדד שהחברה מכנה "Pre-training compute multiplier" (מכפיל כוח החישוב באימון המקדים) עבור קוד, מיולי 2024 עד אוקטובר 2026. הציר האנכי לוגריתמי, כלומר דחוס כך שעלייה של פי 10 ועלייה של פי 100 נראות כמעט אותו דבר. למרות זאת העקומה מטפסת בתלילות.

קוקסון מסיק מכך שהיעילות האלגוריתמית, היכולת להפיק יותר מאותה כמות חישוב, משתפרת בקצב שהולך ומאיץ. "זה גרף מטורף ואני מופתע שהם פרסמו אותו", כתב. לדבריו, השקף היה סיבה מרכזית לכך שעזב את אנתרופיק אחרי כארבעה חודשים בלבד.

"נקודה על עקומה סופר-אקספוננציאלית"

Mythos, שהושק באביב, נחשב לקפיצה גדולה ביכולות. קוקסון סבור שהוא חלק מאותה מגמה: "Mythos לא היה סטייה חד-פעמית, אלא נקודה על עקומה סופר-אקספוננציאלית. הם כבר יכולים לאמן מחדש את Mythos בשבריר מכוח החישוב שנדרש במקור".

כאן נדרשת זהירות. זו פרשנות של אדם אחד לגרף, ואנתרופיק לא אישרה אותה. החברה עצמה מציינת בשקף שנקודות הנתונים מבוססות על הערכות פנימיות ונועדו להמחשה בלבד. קוקסון גם לא נקב במספר: "שבריר" יכול להיות חצי, ויכול להיות אחוז.

למה הוא רוצה לעצור

לדברי קוקסון, שיפורי האלגוריתמים "על סף אוטומציה", כלומר קרובים למצב שבו מערכות AI ישפרו בעצמן את שיטות האימון. מכאן הקריאה שלו להשהות בשנה הבאה את פיתוח מודלי הגבול, כדי שהמתחרים יוכלו להדביק את הפער. השהיה כזאת, כתב, "תהפוך אינטליגנציה ברמה אנושית למוצר מדף. היא תפגע רק ב-OpenAI ובאנתרופיק".

קוקסון אימן מודלים ב-OpenAI ולאחר מכן באנתרופיק. בספטמבר הוא משך תשומת לב רחבה כשהזהיר בפומבי מפני הסיכונים של מערכות AI מתקדמות, ואנשים נוספים בתעשייה השמיעו אזהרות דומות. אחד החששות המרכזיים שלהם הוא ש-AI מתקדם שמשפר את עצמו ייצא משליטה.

העיתוי רגיש לאנתרופיק: השקף נועד לשכנע משקיעים ערב ההנפקה שהחברה משתפרת במהירות. קוקסון קורא באותו גרף סימן אזהרה, וככל הנראה משקיעים ורגולטורים ירצו לשמוע מהחברה מה בדיוק נמדד בו.