דיווח AI שגוי כמעט גרר משבר דיפלומטי בין ארה"ב לסין

דוח מודיעיני אמריקאי שגוי, שנוצר בסיוע כלי AI, כמעט הוביל את ארה"ב לעצור ולעלות על ספינה סינית באזור המזרח התיכון — מהלך שלפי אחד המעורבים "כמעט התחיל מלחמה". על פי דיווח של CNN, בהסתמך על ארבעה מקורות המכירים את הפרשה, כפי שדווח בכתבה של אתר Ars Technica.

מה קרה

לפי הדיווח, אנליסט של פיקוד המבצעים המיוחדים האמריקאי (Special Operations Command) הכין דוח מודיעיני באמצעות צ'אטבוט, שניתח חומרי מודיעין על מטען הספינה הסינית. הצ'אטבוט "מיזג יחד מודיעין ממקורות גלויים עם מודיעין סיגינט חסוי המצוי בידי הממשל", וממנו הורכב דוח שקבע כי הספינה מובילה רכיבים לתוכנית נשק גרעיני. בפועל, כך התברר בדיעבד, הדוח היה "שגוי לחלוטין" — הצ'אטבוט זיהה בטעות את סוג המטען.

הצבא האמריקאי כבר נערך ליירט ולעלות על הספינה, בליווי סיוע אווירי, לפני שקציני מודיעין גילו את הטעות ועצרו את המהלך ברגע האחרון. מקור אחד תיאר את האירוע כמי ש"כמעט התחיל מלחמה".

הקשר: הדחיפה האמריקאית ל-AI מודיעיני

התקרית מגיעה על רקע מדיניות שמעודדת שילוב נרחב של AI במערכות הביטחון האמריקאיות. משרד ההגנה האמריקאי (הפנטגון) השיק בינואר "אסטרטגיית האצת AI" שמטרתה "להנגיש את כל הנתונים הרלוונטיים במערכות IT מבוזרות לניצול על ידי AI, כולל מערכות משימה בכל זרוע וחיל". שר ההגנה פיט הגסת' אמר בהשקת היוזמה: "AI טוב רק כמו הנתונים שהוא מקבל, ואנחנו נדאג שהם יהיו שם".

בדצמבר האחרון הודיע המשרד כי ישתמש ב-Gemini for Government של גוגל כבסיס לפלטפורמה הייעודית שלו, GenAI.mil, ובחודש שעבר נוסף אליה גם Grok for Government. אנתרופיק, מצדה, מציעה גרסה מותאמת של קלוד לשימוש גופי מודיעין אמריקאים. בחודש יוני מסר נציג פנטגון לקונגרס כי כ-1.5 מיליון עובדי משרד ההגנה השתמשו בכלי AI גנרטיביים של הצבא, בין השאר להכנת דוחות המחויבים על פי חוק.

יצוין כי ביחסי הפנטגון עם אנתרופיק חלה גם מתיחות: במרץ הכניס המשרד את החברה לרשימה שחורה בשל התנגדותה לשימוש במודלים שלה במערכות נשק אוטונומיות, אולם שופט פדרלי קבע בחודש שעבר כי הצעד היה "פעולת תגמול בלתי חוקית" המפרה את התיקון הראשון לחוקה.

למה זה חשוב

ככל הנראה, האירוע ממחיש את הפער בין ההתלהבות המוסדית משילוב AI בתהליכי החלטה רגישים לבין הסיכון המובנה ב"הזיות" (hallucinations) של מודלי שפה — תופעה שזכתה לתשומת לב ציבורית מאז שנבחרה למילת השנה של מילון קיימברידג' ב-2023. הצהרת מדיניות אמריקאית מ-2023 בנושא שימוש צבאי אחראי ב-AI הדגישה את הצורך ב"אדם בלולאה" ובשרשרת פיקוד אנושית אחראית, אך המקרה מראה שגם בנוכחות בקרה אנושית, טעות של מערכת AI יכולה להתקדם עד לסף פעולה צבאית ממשית נגד מעצמה גרעינית — עם השלכות דיפלומטיות שהיו עלולות להיות חמורות בהרבה.