דיווח: לפי הפנטגון, הסתמכות יתר על מערכת AI של Palantir הובילה לתקיפה באיראן שבה נהרגו 123 ילדים

לפי תחקיר שפרסמה Bloomberg, הפנטגון קבע שהסתמכות יתר על מערכת בינה מלאכותית של Palantir הובילה לתקיפה שבה נהרגו 123 ילדים איראנים. כתובת הכתבה מתייחסת לתקיפה על בית ספר באיראן.

מה ידוע, ומה עדיין לא

הממצא המרכזי, כפי שהוא מופיע בכותרת התחקיר: הבעיה שהפנטגון מצביע עליה היא "הסתמכות יתר" (overreliance) על מערכת ה-AI של Palantir. חשוב לשים לב לניסוח. הוא לא אומר שמערכת אוטונומית ביצעה את התקיפה לבדה. ככל הנראה המשמעות היא שבני אדם היו מעורבים בתהליך, אבל נתנו משקל רב מדי להמלצות המערכת ולא בדקו אותן מספיק.

פרטים רבים לא הופיעו בחומרים שעמדו לרשותנו, ולכן לא נכללו כאן: מועד התקיפה ומיקומה המדויק, שם המערכת של Palantir שבה מדובר, איזה גוף בפנטגון ערך את הבדיקה, והאם Palantir או משרד ההגנה האמריקאי הגיבו. התחקיר המלא נמצא באתר Bloomberg.

הרקע: Palantir והצבא האמריקאי

Palantir היא אחת מספקיות התוכנה הבולטות של הצבא האמריקאי ושל קהילת המודיעין. המערכות שלה מאחדות ומנתחות כמויות גדולות של נתונים, ובשנים האחרונות משולבות בהן יותר ויותר יכולות AI, למשל זיהוי מטרות וסדרי עדיפויות. החברה מקדמת בגלוי את השימוש בכלים האלה בשדה הקרב, ולכן ממצא כזה נוגע ישירות במוצר המרכזי שלה.

למה זה חשוב

המונח "הסתמכות יתר" מתאר תופעה מוכרת במחקר, שנקראת automation bias ("הטיית אוטומציה"). אנשים נוטים לקבל המלצה של מערכת ממוחשבת גם כשיש סימנים שהיא שגויה, במיוחד כשהם תחת לחץ זמן. בדיון הציבורי על נשק מבוסס AI, התשובה המקובלת לחששות היא ש"יש אדם בלולאה" (human in the loop), כלומר אדם מאשר כל החלטה קטלנית. אם הממצאים יאוששו במלואם, המקרה ככל הנראה ימחיש שאדם בלולאה אינו ערובה מספקת: כשהאדם רק מאשר את מה שהמכונה מציעה, הפיקוח הוא לא יותר מחותמת.

המשמעות האפשרית רחבה מעבר ל-Palantir. צבאות רבים, ובהם צה"ל, משלבים מערכות AI בתהליכי מודיעין ובחירת מטרות. קביעה של הפנטגון עצמו, ולא של ארגון זכויות אדם או של מבקר חיצוני, שמערכת כזו תרמה למותם של 123 ילדים, עשויה להגביר את הלחץ לרגולציה בינלאומית של נשק אוטונומי ולדרישות מחמירות יותר לבקרה אנושית אמיתית.

שאלת האחריות עדיין פתוחה: האם היא מוטלת על המפעילים, על המפקדים שאישרו את נוהלי העבודה או על ספקית הטכנולוגיה. התשובה תלויה בפרטים המלאים של התחקיר ובתגובות הרשמיות, שעדיין לא עמדו לרשותנו.