זוכה פרס פילדס מקים מכון שינסה להוכיח מתמטית שבינה מלאכותית בטוחה

מתמטיקאי קנדי שזכה לאחרונה בפרס פילדס, יעקב צימרמן (Jacob Tsimerman), הודיע על הקמת מכון מחקר עצמאי שיבחן את בטיחות מערכות הבינה המלאכותית באמצעות כלים מהמתמטיקה הטהורה - במקום הבדיקות האמפיריות המקובלות כיום בתעשייה. המכון, שנקרא Mathematical A.I. Safety Institute (MAISI), ימוקם באזור מפרץ סן פרנסיסקו ויתחיל לפעול בינואר 2027, כך דיווח The Decoder בעקבות ה-New York Times.

לפי הדיווח, המכון מתכנן להעסיק בין עשרה לשלושים מתמטיקאים שיתמקדו בבעיות בטיחות של AI. צימרמן, שמצטרף גם לצוות הבטיחות של OpenAI, אמר כי התחום "זקוק לרמת בטיחות גבוהה בהרבה מזו שיש לנו כיום".

הוכחה במקום ניסוי וטעייה

הרעיון המרכזי מאחורי MAISI שאוב מעולם הקריפטוגרפיה: כאשר סכמת הצפנה נחשבת בלתי ניתנת לפריצה, אפשר להוכיח זאת מתמטית - בלי לנסות בפועל כל התקפה אפשרית. בבינה מלאכותית, לעומת זאת, אין כיום קיצור דרך כזה. בטיחות של מערכת AI מתבררת כרגע בעיקר בפועל, תוך כדי שימוש, ולא מראש. יתרה מזו, לפי MAISI אין כיום אפילו הגדרה מוסכמת וברורה למושג "בטוח" בהקשר של בינה מלאכותית - לא בפועל ולא אפילו באופן תיאורטי.

זה בדיוק החלל ש-MAISI שואף למלא. המכון מגדיר שלוש מטרות עיקריות: להוכיח שמערכת AI פועלת באופן אחראי ומפיקה תוצאות נכונות; להוכיח שכאשר כמה סוכני AI (agents) פועלים יחד, השילוב ביניהם לא מייצר תוצאות בלתי רצויות; ולהראות שמערכות עומדות בפני פרצות אבטחה שאיש עדיין לא גילה. אחד הכלים שעליהם המכון מתכוון להסתמך הוא zero-knowledge proofs - שיטות הוכחה קריפטוגרפיות שמאפשרות למערכת להראות שהיא לא "עוקפת את הכללים", בלי לחשוף את הסודות המסחריים של החברות שפיתחו אותה.

למה זה חשוב

הקמת מכון שמנסה ליישם קפדנות מתמטית - מהסוג המקובל בהוכחות משפטיות ובקריפטוגרפיה - על תחום שעד היום נשען בעיקר על בדיקות אמפיריות ו-red teaming, משקפת ככל הנראה תחושה גוברת בקרב חלק מהחוקרים שהשיטות הנוכחיות להערכת בטיחות AI אינן מספיקות. העובדה שצימרמן פועל במקביל גם מתוך MAISI וגם מתוך צוות הבטיחות של OpenAI עשויה לרמז על ניסיון ליצור גשר בין מחקר תיאורטי-אקדמי לבין מעבדות ה-AI המסחריות הגדולות, שמפתחות בפועל את המערכות שאותן המכון מבקש לנתח.

עם זאת, מדובר בשלב מוקדם מאוד: המכון טרם החל לפעול בפועל, ותחילת העבודה בשטח צפויה רק בינואר 2027. השאלה אם ניתן בכלל להוכיח מתמטית "בטיחות" של מערכות למידה עמוקה מורכבות - להבדיל ממערכות קריפטוגרפיות מוגדרות היטב - נותרת פתוחה, וייתכן שזהו אחד האתגרים המרכזיים שהמכון יצטרך להתמודד איתם.