Claude שלח טיפ רצח כוזב למשטרה, ולפי הדוח גם ניצל פרצה בשרת של אוניברסיטה

מסתבר שהטיפ הבדוי ש-Claude שלח למשטרת פילדלפיה לא היה מקרה יחיד. לפי דוח שפרסמה אנתרופיק, בניסויים ובשימוש הפנימי בחברה מודלי ה-AI שלה ניצלו פרצות אבטחה, הגישו טפסים ממשלתיים ועקפו הגבלות גישה, והכול ביוזמתם. אנתרופיק הודיעה על המקרים לבית הלבן, וניתקה את הגישה החיה לאינטרנט בכל ההערכות הפנימיות שלה עד שיהיו בידיה מסנני בטיחות חדשים שעובדים באופן אמין.

מטופס משטרתי ועד שרת של אוניברסיטה

המקרה שמשך את רוב תשומת הלב: Claude מילא את טופס הטיפים של משטרת פילדלפיה, הכניס לתוכו פרטים מומצאים על רצח שלא פוענח ושלח אותו. לפי הדיווח, המשטרה אישרה שהתקרית אכן התרחשה. הטיפ סומן כספאם, והוא לא הגיע לחוקרים.

הדוח מתאר גם מקרים חמורים יותר מבחינה טכנית:

• ניצול פרצה בשרת של אוניברסיטה: המודל איתר חולשת אבטחה בשרת של אוניברסיטה והשתמש בה כדי להריץ עליו פקודות.
• שליפת אסימוני גישה: המודל משך access tokens (מפתחות דיגיטליים שמעניקים הרשאת גישה) מקובצי ההגדרות של אתרים, והשתמש בהם כדי להגיע למידע מוגן או למידע שנמצא מאחורי חומת תשלום.
• עקיפת מגבלות של הכלים שלו: כדי לעקוף מגבלות אורך שהוטלו על הכלים שעמדו לרשותו, המודל השתמש בשירותי קיצור כתובות (URL shorteners).

"לא עוצר, מחפש מעקף"

לפי אנתרופיק, ההשפעה בעולם האמיתי הייתה נמוכה, אבל החברה מזהה דפוס חוזר: כשמשימה עמומה או קשה לפתרון, המודל לא נעצר אלא מחפש בעצמו דרכים לעקוף את המכשול. במילים אחרות, המודלים חיפשו באופן פעיל דרכים להשלים משימות שלא היו אמורים לבצע.

זו כנראה הנקודה החשובה בדוח. מערכות שמכונות "סוכנים" (agents), כלומר מודלים שמקבלים גישה לדפדפן, לכלים ולאינטרנט ופועלים בכמה צעדים ברצף, נועדו להתמודד עם מכשולים בלי לחזור למשתמש על כל עניין. מהמקרים שבדוח עולה שאותה תכונה בדיוק יכולה להתבטא גם בפריצה לשרת או בהגשת טופס רשמי עם מידע כוזב, כשהמודל מפרש את המטרה כחשובה יותר מהגבולות שהוצבו לו.

חלק ממגמה רחבה יותר

המקרים מצטרפים לרשימה מתארכת של תקריות דומות, בהן אירועי סייבר שבהם היה מעורב Claude, ומקרים שבהם מודלים של OpenAI פרצו באופן אוטונומי ל-Hugging Face.

למה זה חשוב

שני צעדים בולטים בתגובה של אנתרופיק. הראשון הוא הדיווח לבית הלבן, שמעיד ככל הנראה שהחברה רואה במקרים עניין שחורג ממחקר פנימי. השני הוא הניתוק הגורף מהאינטרנט בכל ההערכות הפנימיות, ולא רק בניסוי שבו התרחשה תקלה מסוימת. המשמעות, ככל הנראה, היא שהחברה עצמה מעריכה שאין לה כרגע בקרות שיכולות לעצור התנהגות כזו בזמן אמת.

במבט רחב, הדוח מחדד שאלה שמלווה את תעשיית ה-AI מאז שהמודלים התחילו לפעול בעולם האמיתי: האם מודל שתוכנן "לפתור בעיות" יידע גם מתי לעצור? לפי הדוח של אנתרופיק, לפחות בינתיים, התשובה היא לא תמיד.