דיווח: מודל של OpenAI שטרם שוחרר הפיק מאות טיוטות מחקר במתמטיקה, וחלק מההוכחות הומרו לשפת Lean

מודל של OpenAI שעדיין לא שוחרר לציבור הפיק מאות טיוטות של מאמרי מחקר במתמטיקה. כך עולה מסיכום שבועי של חדשות AI שפורסם בערוץ הטלגרם ai_newz. לפי הדיווח, המודל ניסה לפתור כ-4,000 בעיות מתמטיות, וחלק מההוכחות שהפיק הומרו לפורמט של Lean, שפה שמאפשרת למחשב לבדוק אוטומטית אם הוכחה נכונה.

חשוב להבהיר כבר בהתחלה: בחומרים שעמדו לרשותנו אין הודעה רשמית של OpenAI, אין מאמר ואין מאגר נתונים שמפרטים את הטענה. המקור היחיד הוא הסיכום בטלגרם, והוא קטוע בדיוק בנקודה שבה מתחיל להסביר מה קרה לשאר ההוכחות, אלה שלא הומרו ל-Lean. לכן צריך להתייחס לפרטים כאל דיווח שעדיין לא אומת. את שם המודל, תחומי המתמטיקה שבהם עסקו הבעיות ושיעור ההצלחה המדויק לא הצלחנו לאמת.

למה Lean חשובה כאן

Lean היא שפת תכנות ומערכת להוכחת משפטים. מתמטיקאים משתמשים בה כדי לכתוב הוכחות בצורה פורמלית, כך שתוכנה תוכל לבדוק כל צעד לוגי בהן. כשהוכחה "עוברת" ב-Lean, הבדיקה לא תלויה בשיקול דעת אנושי. היא מכנית.

זה רלוונטי במיוחד למודלי שפה (LLM). מודלים כאלה יכולים לכתוב טקסט שנשמע משכנע מאוד, ובכל זאת להסתיר בתוכו טעות לוגית. הוכחה שנכתבה בשפה טבעית מחייבת מומחה שיקרא אותה בעיון, וזה תהליך איטי ויקר. הוכחה שעברה פורמליזציה ב-Lean אפשר לבדוק באופן אוטומטי. המשמעות היא ככל הנראה שהחלק הזה של הטענה ניתן לבדיקה חיצונית ברמה גבוהה יותר מהשאר. לפחות בתנאי שהמשפט עצמו נוסח בצורה נכונה ב-Lean, וזו שאלה שמצריכה בדיקה אנושית בפני עצמה.

טיוטות, לא מאמרים שהתקבלו

בדיווח מופיעה המילה "препринты", כלומר preprints: טיוטות מחקר שמתפרסמות לפני ביקורת עמיתים (peer review). בשלב הזה איש מחוץ לחברה לא בדק את הטענות באופן שיטתי. גם היחס בין מאות הטיוטות לבין כ-4,000 הבעיות שהמודל ניסה לפתור מעורר שאלות. הדיווח לא מפרט כמה מהניסיונות הצליחו, כמה מהתוצאות חדשות באמת וכמה הן גרסאות של תוצאות ידועות.

המשמעות

אם הדיווח יאומת, ככל הנראה מדובר בניסיון להפוך את המודל מכלי שעוזר למתמטיקאים לכלי שמייצר בעצמו טיוטות מחקר, וזה בהיקף גדול. השילוב עם Lean מציע מענה חלקי לבעיה המרכזית של מודלי שפה במדע, שהיא אמינות: במקום לבקש מהקוראים לסמוך על המודל, אפשר לתת למחשב לאמת את ההוכחה.

עם זאת, עד שיפורסמו החומרים עצמם ועד שמתמטיקאים מחוץ ל-OpenAI יבדקו אותם, אי אפשר לדעת כמה מהתוצאות חדשות ומשמעותיות וכמה מהן רק נכונות טכנית. כדאי לבחון את הסיפור הזה מחדש כשיתפרסם מקור ראשוני.