42 מתמטיקאים בכירים מזהירים: הסיכון הקיומי מ-AI אמיתי ודחוף
42 מתמטיקאים, חברים בחברה המלכותית למדעים הבריטית ובהם שלושה זוכי מדליית פילדס, חתמו על מכתב פתוח שקורא לחברה להתריע בפני הממשלה והציבור מפני סיכון קיומי מבינה מלאכותית. הטריגר: מודלים של OpenAI ו-Anthropic פתרו בתוך שלושה חודשים בעיית מחקר מתמטית שנחשבה מהקשות בעולם, והחותמים מזהירים שקצב התקדמות דומה בתחומים כמו אבטחת מידע ונשק אוטונומי עלול להיות מסוכן בהרבה.
42 מתמטיקאים, חברים בחברה המלכותית למדעים הבריטית (Royal Society) - הגוף המדעי המכובד ביותר בבריטניה, שמשמש היסטורית גם כיועץ מדעי לממשלה - חתמו על מכתב פתוח לנשיא החברה. במכתב הם קוראים לה להתריע בפני הממשלה והתקשורת מפני מה שהם מגדירים כסיכון קיומי הנובע מבינה מלאכותית מתקדמת. בין החותמים שלושה זוכי מדליית פילדס - הפרס החשוב ביותר במתמטיקה - מרטין הרר, פיטר שולצה ווונדלין ורנר. לפי המכתב, אף אחד מהחותמים אינו מקושר לחברת בינה מלאכותית.
הטריגר המיידי לפנייה, כך עולה מהמכתב, הוא קצב ההתקדמות במתמטיקה עצמה: בתוך שלושה חודשים פתרו מודלים מתקדמים של OpenAI ו-Anthropic בעיות מחקר פתוחות, ובהן אחת משבע "בעיות המילניום" - רשימת בעיות מתמטיות בלתי פתורות שנחשבות למאתגרות בעולם (המכתב מציין שכנראה גם בעיה שנייה מתוך השבע תיפתר בקרוב). לדברי החותמים, המודלים הללו מתפקדים כיום "ברמה של המתמטיקאים האנושיים הטובים בעולם בחלקים רבים מהתחום", וקיים "סיכוי משמעותי" שיפתחו יכולות על-אנושיות בפרק זמן קצר דומה.
עם זאת, ההשפעה על עולם המתמטיקה אינה הסיבה למכתב, מדגישים החותמים. הם כותבים שיש "להניח שקצב השינוי ביכולות" יהיה דומה גם בתחומים כמו אבטחת מידע (cybersecurity), שליטה בנשק אוטונומי, פיתוח חומרים ביולוגיים וכימיים, והפצת מידע מוטה ומכוון (targeted misinformation). ככל הנראה, המשמעות שהם מבקשים להעביר היא שאם קפיצת המדרגה שנצפתה במתמטיקה תחזור על עצמה בתחומים מסוכנים יותר, ההשלכות עלולות להיות חריפות בהרבה.
המכתב מתייחס גם להערכות שמפרסמות חברות הבינה המלאכותית עצמן, לפיהן הסיכון הקיומי מ-AI עומד על יותר מ-10%, וקורא לא לפטור הערכות כאלה כ"היפ" (hype). המשפט המסכם במכתב: "עד שהמצב יהפוך ברור לציבור הרחב, יתכן שיהיה מאוחר מכדי לפעול".
למה זה חשוב
המכתב בולט בעיקר בזהות החותמים. אלה אינם פעילי בטיחות AI מקצועיים או חוקרים המועסקים בתעשייה, אלא מתמטיקאים אקדמיים בכירים - חלקם מהמכוברים בעולמם - שמצטרפים לגל אזהרות שמקורו עד כה היה בעיקר בחברות ה-AI עצמן ובחוקרי בטיחות מסונפים לתעשייה. הבחירה לפנות דווקא לחברה המלכותית, ולא למשל לפרסם מאמר דעה, ככל הנראה נועדה להעביר את הדיון מהזירה הטכנולוגית-תקשורתית אל זירה ממשלתית ומדעית מוסדית, במטרה להניע פעולה רגולטורית בטרם ייווצר "עובדה בשטח" שקשה יהיה להתמודד איתה.
ההשוואה למתמטיקה נבחרה, כפי הנראה, כי היא ניתנת למדידה אובייקטיבית וקלה להוכחה - בניגוד לטענות כלליות יותר על "יכולות AI מתקדמות". פתרון בעיית מילניום הוא ציון דרך מוסכם וברור, ומכאן החשש של החותמים שקצב דומה בתחומים רגישים בהרבה - כמו נשק ביולוגי או תשתיות קריטיות - עלול לחמוק מעין הציבור עד שיהיה מאוחר.