OpenAI העלתה לרשת מאות הוכחות מתמטיות, וגם המתמטיקאים שלה עדיין לא מבינים את כולן

OpenAI העלתה לרשת בבת אחת מאות כתבי יד מתמטיים, ובהם הוכחות לבעיות פתוחות, חלקן כאלה שמתמטיקאים עבדו עליהן במשך עשרות שנים. אבל גם החברה עצמה עדיין לא יודעת להגיד מה בדיוק פרסמה: דובר OpenAI אמר ל-Scientific American שגם המתמטיקאים של החברה עדיין לא מבינים רבות מהתוצאות. את הפרטים הביאו כותבים ממוסד שמואל נאמן במאמר דעה בגיקטיים.

722 כתבי יד, שלוש שעות חישוב לכל תוצאה

לפי המאמר, 722 כתבי היד עוסקים ביותר מ-300 בעיות מתמטיות פתוחות. את כולם הפיק מודל פנימי ש-OpenAI לא שחררה לציבור, ובממוצע כל תוצאה דרשה כשלוש שעות חישוב. מתמטיקאי אמריקאי בכיר, ששמו אינו מופיע במאמר, העריך שאחת התוצאות הייתה מזכה את מי שהגיע אליה במדליית פילדס, הפרס היוקרתי ביותר במתמטיקה.

הפרסום הגיע חודש אחרי ש-OpenAI הודיעה שאותו מודל פתר את בעיית נאוויה-סטוקס, שעוסקת במשוואות שמתארות את תנועתם של נוזלים וגזים. זו אחת משבע "בעיות המילניום", ועל פתרון כל אחת מהן הוצע פרס של מיליון דולר.

האם ההוכחות נכונות?

המאמר מצביע על כמה סיבות לכך שקשה לאמת את התוצאות. הראשונה היא הנורמה במתמטיקה: כפי שניסחה אותה קבוצה מפרינסטון, מחבר אמור להבין את הטיעון שלו, לבדוק אותו ולקחת עליו אחריות מלאה. לגבי רבות מהתוצאות של OpenAI, לפי הכותבים, אין עדיין אף אחד, אדם או מכונה, שעומד בתנאי הזה.

בדיקה ממוחשבת יכולה לאשר שהוכחה נכונה, אבל לא שמישהו מבין אותה. וגם היא לא חסינה מטעויות: לפי המאמר, מתמטיקאים מקיימברידג' ומלונדון מצאו אי-התאמות בין הוכחה של OpenAI לבין הגרסה שנבדקה במחשב. ועוד בעיה: כל עוד החברה לא משחררת את המודל, אי אפשר לבדוק גם את הטענות על הדרך שבה הופקו התוצאות.

זוכי מדליית פילדס: הפתרון הוא לא המטרה

שלושה ימים אחרי ההכרזה על נאוויה-סטוקס פרסמו זוכי מדליית פילדס הצהרה משותפת. בין החותמים היו טרנס טאו והמתמטיקאי הישראלי אילון לינדנשטראוס. לדבריהם, יש פער גדול בין המטרות של חברות ה-AI לבין המטרות של הקהילה המתמטית. פתרון של בעיה, הם כתבו, הוא לא מטרה בפני עצמה אלא סימן לכך שנוצרה הבנה חדשה. הבנה כזו נבנית לאט, בהרצאות, בכנסים ובכתיבה מסודרת, עד שהיא מגיעה לספרי הלימוד.

טאו כתב ביום ההכרזה ששימוש גורף בכלי AI לפתרון בעיות משיג את המטרה המיידית, אבל במחיר כפול: הוא פוגע ביכולת של התחום לייצר את גל ההתקדמות הבא, ופוגע גם בהבנה של מה שכבר הושג. לדבריו, אי אפשר לאסור את הכלים, אבל אפשר להגדיר סוגי בעיות שבהן הקהילה תצפה גם לניתוח שמלמד משהו על בעיות סמוכות, ולא רק לפתרון "גולמי".

קל לייצר, יקר לבדוק

כותבי המאמר מתארים בעיה שהם מכנים "עלויות א-סימטריות": היום זול מאוד לייצר תוכן ויקר מאוד להעריך אותו. שיפוט עמיתים (peer review), כתבי עת וועדות מינויים נבנו לעולם שבו ייצור ידע היה איטי ויקר. הם מעלים גם את שאלת הכוח: OpenAI היא שבחרה אילו בעיות ייבחנו, באיזה פורמט יוצגו התוצאות והיכן יישמרו.

ככל הנראה, המשמעות רחבה יותר מהמתמטיקה. לפי הכותבים, הבעיה הופיעה שם ראשונה דווקא משום שבמתמטיקה קל יחסית לבדוק אם תוצאה נכונה. בתחומים כמו רפואה, משפט ומדעי החברה הבדיקה קשה הרבה יותר, ולכן אותה דינמיקה עלולה להיות מסוכנת יותר. הם קוראים לאקדמיה הישראלית לחייב חוקרים לתעד את השימוש שלהם בכלי AI, להשקיע בהערכה של תוצאות ולא רק בייצור שלהן, ולשקול מחדש מה היא מתגמלת: מספר פרסומים, או נכונות לעמוד מאחורי טענה.