Fable 5.2 של אנתרופיק משלים 41% ממשימות פרילנס אמיתיות, לעומת 2.5% לפני שנה

המודל החדש של אנתרופיק, Fable 5.2, הגיע ל-41.3% ב-Remote Labor Index (RLI). זה מדד שבודק באיזו תדירות סוכני AI מסיימים עבודות פרילנס אמיתיות ברמה שלקוח משלם היה מקבל. כשהמדד הושק לפני כשנה, המערכת המובילה, Manus, השלימה רק 2.5% מהמשימות. Fable 5.2 משלים כעת יותר מפי 16 עבודות.

קפיצה גם לעומת הדור הקודם

את המדד פיתחו Scale Labs וה-Center for AI Safety ‏(CAIS). לפי The Decoder, ביולי עמד בראש הטבלה Fable 5, מודל ותיק יותר מאותה משפחה, עם כ-16%. כבר אז זו הייתה התקדמות משמעותית: בתוך שמונה חודשים, שיעור העבודות שהסוכנים המובילים השלימו ברמה מקצועית גדל יותר מפי ארבעה. ארבעה חודשים לאחר מכן Fable 5.2 מגיע ל-41.3%, בערך פי 2.5 מהציון של Fable 5. המודל הקודם בסדרה, Fable 5.1, נשאר מאחור עם קצת פחות מ-18%.

גם המתחרים רחוקים. במקום השני נמצא מודל אחר של אנתרופיק, Opus 5.5, עם 21.25%. אחריו GPT 6 Astra של OpenAI עם 20.83%. המודל החזק ביותר של גוגל במבחן, Gemini Argon 4, במקום החמישי עם 17.08%. מודלים ותיקים יותר, כמו GPT-5.2 ו-Gemini 3 Pro, נמצאים מתחת ל-3%.

איפה הוא מצליח, ואיפה עדיין לא

לפי Scale Labs, כפי שמצוטט ב-The Decoder, השיפור הגדול ביותר של Fable 5.2 היה בעריכת אודיו ומוזיקה, בתכנון אדריכלי ועיצוב פנים וביצירת מודלים בתלת-ממד. הוא גם מסתדר עם פרויקטים ארוכים ומורכבים, שמודלים שהובילו את הטבלה בעבר נכשלו בהם שוב ושוב. כמעט 50 מהעבודות שהשלים בהצלחה הן עבודות שאף סוכן AI במבחן לא פתר קודם.

עם זאת, Scale Labs מציינת שיש תחומים שבהם המודל כמעט לא מצליח, בעיקר עיצוב מוצר תעשייתי ואנימציה. לדברי החוקרים, כשסוכני AI נכשלים במבחן, הם בדרך כלל מגישים עבודה ברמה חובבנית, תוצרים חלקיים, קבצים פגומים או עיצובים עם סתירות פנימיות.

עבודות אמיתיות בשווי 144 אלף דולר

ההבדל בין RLI לרוב מבחני ה-AI הוא שהוא לא בודק מיומנויות בודדות אלא משימות עבודה שלמות. מאגר הנתונים כולל 240 פרויקטים שהושלמו בידי 358 אנשי מקצוע מאומתים בפלטפורמת Upwork. השווי הכולל שלהם הוא כ-144 אלף דולר. פרויקט ממוצע עולה 632.60 דולר, ופרילנסר אנושי משקיע בו קצת פחות מ-29 שעות בממוצע. המשימות כוללות עריכת וידאו, שרטוטי CAD, פיתוח משחקים וניתוח נתונים.

הסוכנים עובדים בסביבת עבודה וירטואלית עם תוכנות מקצועיות נפוצות כמו Blender, ‏GIMP ו-Audacity, ועם כלי AI ייעודיים ליצירת תמונה, אודיו ווידאו. מומחים אנושיים מיומנים בודקים את התוצרים ידנית: הם פותחים את הקבצים בתוכנה המתאימה ומשווים אותם לעבודה שהגיש הפרילנסר האנושי. לפי הדיווח, ניסיונות של CAIS להחליף את הבדיקה הזו בבודק AI לא הצליחו עד כה. בודקי ה-AI כמעט לא מסוגלים להפעיל את התוכנות המקצועיות בעצמם, ולכן הם מתרשמים מתוצרים שנראים מלוטשים אבל פגומים מבחינה טכנית, ונותנים ציונים נדיבים מדי.

למה זה חשוב

הנתונים מראים שסוכני AI מתקדמים מהר במשימות מעשיות, לא רק בשאלות ידע או במבחני תכנות. ככל הנראה, הקצב הזה יחריף את הדיון על השפעת ה-AI על שוק העבודה העצמאית. עם זאת, כדאי לקרוא את המספרים בזהירות: גם המודל המוביל עדיין נכשל ברוב המשימות, ויש תחומים שלמים, כמו אנימציה ועיצוב מוצר, שבהם הוא כמעט לא מספק עבודה ברמה מקצועית. המשמעות היא שבשלב הזה מדובר בכלי שמשתפר מהר, אבל לא במחליף של פרילנסר מקצועי.