GPT-6-Astra פתר 49 מתוך 50 בעיות מחקר בפיזיקה תיאורטית, בעלות של פחות מ-3 דולר לבעיה
בנצ'מרק חדש בשם TheoPhysEval בודק סוכני AI על 50 בעיות מחקר בפיזיקה תיאורטית שטרם פורסמו. GPT-6-Astra של OpenAI פתר 49 מהן, ובחלק מהמקרים התברר שדווקא פתרונות המומחים היו שגויים. החוקרים מעריכים שבחישובים קונקרטיים המודלים כבר מתחרים במומחים המובילים, ובכל זאת פריצות דרך עוד לא הגיעו, בין היתר משום שלסוכנים חסר "טעם" מדעי.
סוכן ה-AI של OpenAI בשם GPT-6-Astra פתר נכון 49 מתוך 50 בעיות מחקר בפיזיקה תיאורטית, כלומר 98%, בבנצ'מרק חדש בשם TheoPhysEval. העלות הממוצעת הייתה פחות מ-3 דולר לבעיה, והרצת הבנצ'מרק כולו עלתה קצת פחות מ-116 דולר. כך דיווח האתר The Decoder. לפי החוקרים, הדיוק של הסוכנים המובילים דומה לזה של המומחים הבולטים בכל תת-תחום.
מה בודקים, ומי בודק
את הבנצ'מרק פרסמו 35 חוקרים ממוסדות שונים, בהם המרכז הבינלאומי למדעים תיאורטיים (ICTS), אוניברסיטת הרווארד, KU Leuven ו-Google DeepMind. הוא כולל 50 בעיות מחקר שלא פורסמו, ולכל אחת מהן תשובה שאפשר לאמת. לפי המחברים, מומחה מוביל בתת-התחום הרלוונטי יפתור בעיה טיפוסית ללא עזרת AI ביום עבודה או פחות. מומחים מתחומים סמוכים יזדקקו להרבה יותר זמן.
הבנצ'מרק לא עוסק בשאלות הגדולות הפתוחות של הפיזיקה. הוא מתמקד במה שהמחברים מכנים בעיות "turn-the-crank", כלומר יישום של שיטות מוכרות על שאלה ששונתה מעט. פעמים רבות התורמים שינו כמה ערכים בחישוב מתוך מאמר שפרסמו לאחרונה, כדי שאי אפשר יהיה לנחש את התוצאה החדשה מהישנה. לדברי החוקרים, משימות כאלה ניתנות לעיתים קרובות לדוקטורנטים כצעד ראשון במחקר. הבעיות מכסות 11 תת-תחומים, מזרימת נוזלים ותהליכים ביולוגיים ועד פיזיקת חלקיקים וקוסמולוגיה.
הדירוג
הסוכנים נבחנו ללא רמזים אנושיים, בשתי הרצות: עם חיפוש ברשת ובלי גישה לאינטרנט. GPT-6-Astra, שרץ בסביבת Codex של OpenAI, הגיע למקום הראשון. Opus 5.5 של אנתרופיק, שרץ ב-Claude Code, הגיע למקום השני עם 92%. Gemini 3.8 Flash של גוגל השיג 68%, והמודלים בעלי המשקלים הפתוחים DeepSeek-V4.1-Flash ו-GLM 5.3 הגיעו ל-54% ול-42% בהתאמה.
המודלים החלשים יותר עשו לפעמים טעויות שמומחה היה מזהה מיד. בבעיה שעסקה בחורים שחורים, Gemini ו-GLM העתיקו כמו שהן נוסחאות ממאמר קודם שנכונות לחמישה ממדים, ולא לארבעה כפי שנדרש.
לגישה לאינטרנט הייתה השפעה קטנה באופן מפתיע. בלי חיפוש ברשת השיגו Astra ו-Opus כל אחד 92%. המחברים רואים בכך סימן לכך שמודלי השפה המובילים שיננו בפועל חלקים גדולים מהספרות של הפיזיקה התיאורטית.
כשמפתח התשובות טועה
את הבעיה היחידה ש-Astra לא פתר עם חיפוש ברשת לא פתר אף מודל. היא דרשה למצוא משוואה שמפיקה עקומה נתונה. החוקרים מודים שהבעיה עשויה להיראות "לא הוגנת", אבל לדבריהם היא משקפת את המציאות, שבה חוקרים נאלצים לא פעם להסיק את הפיזיקה מנתונים לא מדויקים.
ממצא מעניין יותר הוא שבכמה בעיות, בירור נוסף מול המומחים חשף טעויות קטנות וקשות לזיהוי בפתרונות הייחוס שלהם. אחרי התיקון, התשובה של Astra נמצאה נכונה בכל המקרים. לפי The Decoder, ייתכן שזה מסביר גם מדוע הסוכנים מצליחים ב-TheoPhysEval יותר מאשר בבנצ'מרקים אחרים כמו CritPt, אף שהמחברים רואים בבעיות שלהם קשות יותר בממוצע. הבעיות וסביבת הבדיקה זמינות להורדה כמאגר נתונים ב-Hugging Face.
למה אין עדיין פריצת דרך
לדברי המחברים, ייתכן שחלק מהמודלים החזקים כבר עקפו את טובי החוקרים האנושיים בחישובים קונקרטיים, גם בתחומים מתמחים. הם מגדירים זאת כאבן דרך משמעותית. במתמטיקה ההשפעה בולטת עוד יותר: שם סוכני AI כבר פתרו בעיות פתוחות חשובות, ולטענת OpenAI אחת מהן קשורה למשוואות נאוויה-סטוקס.
בפיזיקה, לעומת זאת, פריצות דרך עדיין לא הגיעו. החוקרים מצביעים על היעדר "טעם" אצל הסוכנים כאחת הסיבות לכך. ככל הנראה הכוונה ליכולת לבחור אילו שאלות כדאי לשאול ואילו כיווני מחקר שווים את המאמץ, ולא רק לבצע חישוב שהוגדר מראש. המשמעות היא שהעבודה השגרתית של המחקר, החלק שהוטל עד היום על דוקטורנטים, הופכת זולה ומהירה בהרבה. ההחלטה מה לחשב נשארת, לפחות לעת עתה, בידי בני האדם.