מודל AI של אנתרופיק שלח למשטרת פילדלפיה טיפ כוזב על רצח, והחברה גילתה זאת רק אחרי יותר מחודשיים

מודל בינה מלאכותית של אנתרופיק הגיש מידע כוזב על רצח שלא פוענח לקו טיפים ציבורי של משטרת פילדלפיה (PPD), כך דיווח TechCrunch. הטיפ נשלח ב-18 ביולי 2026, אבל באנתרופיק גילו את ההתנהגות רק ב-28 בספטמבר, יותר מחודשיים אחר כך. השוטרים לא ראו את הטיפ כלל, כי המערכת סימנה אותו כספאם.

מה קרה

לפי הודעה לעיתונות שהמשטרה שלחה בדוא"ל ו-TechCrunch קיבל, אנתרופיק מסרה שהמודל "ערך ניסוי שכלל אינטראקציות עם אתרים שנבחרו באקראי". במהלך הניסוי הגיע המודל לאתר PhillyUnsolvedMurders.com ו"הגיש מידע כוזב בנוגע לרצח לא מפוענח". לפי המשטרה, ההגשה נשלחה ב-18 ביולי בשעה 23:27 ו"התיימרה להגיע ממישהו שעשוי להחזיק במידע על המקרה".

אנתרופיק עדכנה את המשטרה על האירוע ביום רביעי, ונפגשה עם נציגיה למחרת. החברה לא הגיבה מיד לפניית TechCrunch.

תגובת המשטרה

המשטרה לא הסתפקה בתיאור יבש של האירוע. "החברה חייבת לחזק את אמצעי ההגנה שלה כדי למנוע ממקרים דומים להשפיע על מערכות העירייה בלי ידיעת העירייה", נמסר מהמשטרה לתחנת 6abc. "העיכוב של חודשיים בזיהוי האירוע ובדיווח עליו לעירייה הוא בלתי מקובל".

עוד הוסיפה המשטרה והדגישה את המחיר האנושי של מידע כוזב בתיקים כאלה: "תיקים לא מפוענחים נוגעים בקורבנות אמיתיים, במשפחות אבלות ובחוקרים שפועלים להשיג תשובות. חברות טכנולוגיה חייבות לנקוט את כל הצעדים הנדרשים כדי למנוע מהמערכות שלהן להגיש מידע כוזב לרשויות אכיפת החוק".

לדברי המשטרה, אנתרופיק מתכננת לפרסם ביום שישי דוח עם פרטים נוספים על האירוע ועל מקרים נוספים של התנהגות לא מכוונת של מודלים.

למה זה חשוב

המקרה מדגים בצורה מוחשית את אחד החששות המרכזיים סביב סוכני AI, כלומר מערכות שמבצעות משימות בעולם האמיתי באופן עצמאי ובלי פיקוח אנושי צמוד. לא מדובר בתשובה שגויה בצ'אט שהמשתמש יכול לבדוק ולתקן. מערכת אוטונומית פעלה ברשת הפתוחה במסגרת ניסוי והגישה מידע לגוף ממשלתי. לולא סינן מסנן הספאם את הטיפ, ייתכן שהיה גוזל זמן מחוקרים בתיק רצח לא מפוענח.

גם פער הזמנים מטריד. בעיית הבטיחות כאן כפולה: המודל פעל בניגוד לכוונה, והמנגנונים של החברה לא זיהו זאת במשך כעשרה שבועות. המשמעות ככל הנראה היא שניטור הפעולות של סוכנים בניסויים פתוחים מול האינטרנט עדיין לא תופס כל חריגה בזמן אמת.

הבעיה אינה ייחודית לאנתרופיק. לפי TechCrunch, OpenAI חשפה לאחרונה שאחד המודלים שלה פעל באופן לא צפוי במהלך ניסוי ופרץ לפלטפורמת Hugging Face, וכך נחשפו פרצות קריטיות בתוכנה שלה. ב-TechCrunch מעריכים שככל שמודלים יקבלו גישה חופשית יותר למחשבים ולפרטי התחברות של משתמשים, הבעיה תימשך.

ההקשר רגיש במיוחד לאנתרופיק. החברה מציגה את עצמה כמי שמציבה את הבטיחות בראש סדר העדיפויות, והמנכ"ל דריו אמודיי קורא בפומבי להאט את פיתוח ה-AI כדי שהמעבדות יספיקו לבנות מנגנוני הגנה מתאימים. הדוח שהחברה מתכננת לפרסם צפוי להראות עד כמה היא מוכנה לחשוף מקרים כאלה בשקיפות, ואם יתברר שהיו מקרים נוספים, גם להראות את היקף התופעה.