דיווח: GPT-6.1 Sol בדק כמעט 800 מאמרים במתמטיקה, ובמאמרים החדשים מצא שגיאות מהותיות ב-1.5% בלבד
לפי דיווח שעדיין לא אומת, GPT-6.1 Sol, המודל החדש של OpenAI, בדק כמעט 800 מאמרים במתמטיקה. לפי הדיווח הוא מצא שגיאות מהותיות ב-6% מהם ושגיאות קלות ב-30% נוספים, ובמאמרים החדשים שיעור השגיאות המהותיות ירד ל-1.5%. אם הנתונים יאומתו, הם מצביעים על תפקיד חדש למודלי שפה ככלי לבדיקת מחקר.
לפי דיווח שמסתובב בקהילות AI ברשת, ניסוי שבו המודל החדש של OpenAI, GPT-6.1 Sol, קרא כמעט 800 מאמרים במתמטיקה העלה ממצא מעניין. לפי הדיווח המודל מצא שגיאות מהותיות ב-6% מהמאמרים ושגיאות קלות ב-30% נוספים. במאמרים החדשים יותר, שנכתבו בתקופה שבה השימוש ב-AI התרחב מאוד, שיעור השגיאות המהותיות ירד ל-1.5% בלבד.
חשוב להדגיש כבר בהתחלה: הנתונים האלה מופיעים כרגע רק בפוסט ברדיט. המחקר עצמו, זהות החוקרים והשיטה שבה נבדקו המאמרים לא היו בחומרים שעמדו לרשותנו. לכן מדובר בדיווח שעדיין לא אומת, ויש להתייחס למספרים בהתאם.
מה נטען
לפי הדיווח, החוקרים לא הסתפקו בספירת השגיאות שהמודל סימן. הם גם בדקו עד כמה אפשר לסמוך עליו, והעריכו שכ-90% מהשגיאות המהותיות שהוא זיהה הן אכן שגיאות. במילים אחרות, בערך אחת מכל עשר התראות חמורות של המודל היא ככל הנראה אזעקת שווא.
הנתון הבולט ביותר הוא הירידה במאמרים החדשים, מ-6% בממוצע הכללי ל-1.5%. הדיווח קושר אותה להתרחבות השימוש ב-AI. אבל הקשר הזה הוא מתאם בלבד, וממנו לבדו לא ניתן להסיק שה-AI הוא שגרם לירידה. ייתכן שחוקרים כבר משתמשים בכלים כאלה כדי לבדוק את עבודתם לפני פרסום. ייתכן גם שיש לכך הסברים אחרים, כמו הבדלים בסוגי המאמרים שנבדקו או בתהליכי השיפוט של כתבי העת.
המודל שמאחורי הניסוי
GPT-6.1 Sol הוצג לפני כשבועיים בכנס DevDay של OpenAI, שבוע בלבד אחרי השקת GPT-6 Sol. לפי החברה, המודל מתקרב לרמת היכולת של GPT-6 Astra, המודל החזק יותר שלה, במשימות קוד, שימוש במחשב ועבודה מקצועית, ומחיר הטוקנים שלו (קלט ופלט) הוא חמישית מהמחיר של Astra.
OpenAI טוענת גם שהמודל מדייק יותר בעובדות. ברמת חשיבה (reasoning) נמוכה ירד שיעור התשובות שמכילות שגיאה עובדתית מ-11.4% ל-7.7% לעומת הגרסה הקודמת. החברה מוסיפה שהמודל גלוי יותר לגבי המגבלות של עצמו. לפי TechCrunch, החברה ויתרה על השקת GPT-6.1 Astra, ולפי דיווח ב-Wall Street Journal הסיבה הייתה חששות בטיחות שהתעוררו בבדיקות הפנימיות.
המודל זמין למנויי Plus, Pro, Business, Enterprise ו-Edu בממשקי ChatGPT Work ו-Codex, אך עדיין לא בממשק הצ'אט הרגיל.
למה זה חשוב
במתמטיקה, תהליך השיפוט (peer review) איטי וקשה במיוחד. בדיקת הוכחה ארוכה יכולה לדרוש משופט אנושי שבועות של עבודה, ושגיאות מצליחות לפעמים לעבור את הסינון. אם המספרים בדיווח יחזיקו מעמד, המשמעות היא שמודל שפה יכול לשמש כשכבת בדיקה ראשונה: לסמן מאמרים חשודים ולחסוך לשופטים זמן. הוא לא מחליף אותם.
עם זאת, גם לפי הדיווח עצמו, כ-10% מהממצאים המהותיים של המודל שגויים. לכן כל ממצא עדיין צריך בדיקה אנושית. השאלה הפתוחה היא אם הירידה ל-1.5% מעידה על כך שמתמטיקאים כבר משלבים כלי AI בעבודה. עד שהמחקר המלא יתפרסם וייבדק, מוקדם לקבוע.