בדלתיים סגורות בז'נבה: ארה"ב ורוסיה פעלו יחד להסרת דרישות הפיקוח האנושי מטיוטת האו"ם על נשק אוטונומי

ארצות הברית ורוסיה, שנמצאות בדרך כלל בצדדים מנוגדים של כמעט כל מחלוקת בינלאומית, פעלו במשותף כדי להחליש את הפיקוח על נשק אוטונומי קטלני. כך עולה מדיווח של ה"וושינגטון פוסט", שהובא ב-ynet. לפי הדיווח, במהלך מרתון דיונים לילי של כ-15 שעות בז'נבה, בחדרים סגורים וללא משקיפים, פעלו שתי המעצמות למחיקת סעיפים מרכזיים מטיוטת האו"ם שנועדה להסדיר את התחום.

מה נמחק מהטיוטה

לפי הדיווח, כל אחת מהמעצמות הגיעה לדיונים עם כעשרה משפטנים. בין הסעיפים שנמחקו:

• אישור אנושי לתקיפה: הדרישה המפורשת שאדם יאשר מטרות צבאיות שזיהו אלגוריתמים לפני ביצוע התקיפה.
• צפיות ואמינות: הדרישה שהמערכות יפעלו באופן צפוי ואמין.
• שיקולים אתיים: הסעיף שחייב להביא בחשבון שיקולים אתיים בעת הפעלת המערכות.

לפי ynet, העמדה המשותפת של וושינגטון ומוסקבה מנוגדת לקו האירופי, שדוחף להסדרה מחמירה. גורמים בארגוני זכויות אדם כינו את מה שנעשה לטיוטה "מוות באלף מיתות". לדבריהם, כשמוציאים מהמסמך את סעיפי הפיקוח, נפתחת הדרך ללחימה שבה מכונות פועלות בלי מעורבות אנושית בזמן אמת. לפי אזהרתם, הדבר מסכן חיי אזרחים ומשאיר את השאלה מי אחראי מבחינה משפטית ללא תשובה ברורה.

הקשר: ה-AI כבר בשדה הקרב

הדיון בז'נבה אינו עוסק בעתיד רחוק. לפי הכתבה, הפנטגון השתמש במודלים מתקדמים כדי לזהות כמעט אלף מטרות תקיפה במבצעים מול איראן. צה"ל מפעיל מערכות מבוססות בינה מלאכותית, כמו "הבשורה", לעיבוד מודיעין וליצירת בנק מטרות. בשני המקרים הוגדרו המערכות ככלי עזר לקבלת החלטות. אבל כשזמן התגובה מתקצר לשניות, הגבול בין המלצה של מכונה לבין פקודת אש הולך ומיטשטש.

בינתיים, לפי הדיווח, סין מפתחת נחילי רחפנים אוטונומיים ורובוטים חמושים. ארצות הברית מקדמת את יוזמת Replicator, שמטרתה להציב אלפי מערכות אוטונומיות זולות כמענה ליתרון המספרי של בייג'ינג. ממשל טראמפ הבהיר שהוא דוחה ניסיונות פיקוח בינלאומיים שעלולים לבלום חדשנות, והנחה את הפנטגון לעדכן את ההנחיות לשימוש צבאי בבינה מלאכותית. הכתבה מציינת שמגמה זו מסבירה את ההתנגדות של וושינגטון לאמנה מחייבת.

למה זה חשוב

הסכמים קודמים לפיקוח על נשק, כמו האמנה נגד נשק כימי והאיסורים על מוקשים נגד אדם ועל פצצות מצרר, נשענו על הסכמה רחבה סביב קו אדום מוסרי. נשק אוטונומי שונה מהם: זה לא כלי נשק אחד שאפשר לאסור אלא תוכנה שמשולבת בפלטפורמות קיימות, כמו כטב"מים, טילי שיוט ועמדות ירי. לכן הרבה יותר קשה להגדיר מה בדיוק אסור.

ככל הנראה, דווקא בגלל זה הסעיפים שנמחקו חשובים כל כך. הדרישה לאישור אנושי ולפעולה צפויה ואמינה היא מה שמבדיל בין מערכת שממליצה לבין מערכת שמחליטה. לפי הכתבה, המשמעות ברורה, שכן מודלים של AI סובלים משתי בעיות מוכרות: קשה לשחזר איך הם הגיעו להחלטה מסוימת (בעיית "הקופסה השחורה"), והם עלולים "להזות", כלומר לייצר פלט שגוי בביטחון מלא. בלי חובה לאישור אנושי, השאלה מי נושא באחריות כשמערכת כזו טועה עלולה להישאר פתוחה.

אם מגמת הדיווח תימשך, סביר שהמאמץ בז'נבה יסתיים בהצהרות עקרוניות שאינן מחייבות. בינתיים ההחלטה ללחוץ על ההדק תעבור בהדרגה מהאדם אל הקוד.