מחקר של מיקרוסופט: פחות מ-10 נוירונים "רדומים" מספיקים כדי להשתיל דלת אחורית בסוכן AI

חוקרים במיקרוסופט פרסמו מחקר על טכניקת תקיפה בשם Lazarus. היא מאפשרת להפוך סוכן AI שנראה תקין לחלוטין לכלי בידי תוקף. לפי הפוסט בבלוג המחקר של מיקרוסופט, מספיק לשנות את המשקולות של פחות מ-10 נוירונים "רדומים" במודל שפה (LLM) כדי להשתיל בו דלת אחורית. זה לא דורש שום אימון נוסף של המודל. המודל ממשיך לעבור את מבחני ההערכה הסטנדרטיים ומתנהג כרגיל, עד שמופיע הטריגר.

טריגר תמים, נזק ממשי

לדברי החוקרים, הטריגר יכול להיות משהו שגרתי לגמרי, למשל תאריך. בדוגמה שהם מביאים, ברגע שהשעון עובר את חצות ונכנסים לשנת 2027, הסוכן נמצא באמצע משימה רגילה ופתאום מוציא פקודה שמורידה קוד של התוקף ומריצה אותו. הסוכן מריץ את הקוד עם כל ההרשאות שקיבל.

כאן הבעיה החמורה במיוחד, לפי מיקרוסופט: סוכנים שיש להם גישה לכלים או ל-terminal (שורת הפקודה של המחשב). מודל שהופעל בדרך הזו יכול להוריד ולהריץ בשקט קוד זדוני, לגנוב סודות כמו מפתחות גישה, או להריץ פקודות הרסניות. כל זה בזמן שהוא עדיין עובר את בדיקות הבטיחות הרגילות.

איך זה עובד? בכל LLM יש הרבה נוירונים שכמעט לא מופעלים. לפי המחקר, אפשר לתכנת אותם מחדש כך שיגיבו רק לטריגר מסוים, וכך הם הופכים ל"גלאי טריגר" שקט בתוך המודל. כנראה שמכאן גם השם: כותרת המאמר, "Lazare, veni foras", היא בלטינית "אלעזר, צא החוצה", הקריאה מסיפור תחיית אלעזר בברית החדשה. כלומר, נוירונים מתים שקמים לתחייה.

התחיל כניסוי עם Claude Code

החוקר שגילה את האיום מספר שהכול התחיל במרץ בניסוי קצר. הוא ביקש מ-Claude Code עם Opus 4.5 להשתיל דלת אחורית במודל על ידי "חיווט קשיח" של כמה אקטיבציות, בלי אימון. זה עבד, והניסוי הפך למחקר שנמשך חודשים. מיקרוסופט מציגה את זה כדוגמה לדפוס עבודה שלדעתה צריך להפוך לשגרה: סוכני AI מעלים בעיות אבטחה חדשות, וחוקרים אנושיים מסדרים אותן, חוקרים אותן ומוצאים להן מענה.

אפשר לזהות, אבל אי אפשר להוכיח בטיחות

החדשות הטובות, לפי החוקרים: אפשר לתפוס עריכות כאלה. סוכנים מתקדמים (frontier) מסוגלים לזהות שינויים חריגים במשקולות אם מבקשים מהם לחפש. אבל הם מדגישים שאף סריקה לא יכולה להוכיח מעבר לכל ספק שמודל בטוח. זיהוי אמין מחייב להשוות (diff) מול המשקולות המקוריות שלא שונו. לכן חשוב מאוד לדעת מאיפה המודל הגיע ושאיש לא שינה אותו בדרך בין המפתח לבין ההפעלה בפועל.

החוקרים מציינים שמודלים עם דלת אחורית הם לא איום חדש, ושאפשר להתייחס אליהם כמו לתוכנה שנפרצה. גם ההגנות מוכרות לאנשי אבטחה, ובהתאם לדברים שכתב סאטיה נאדלה: להתייחס למודלים כאל סיכון פנימי (insider risk), לא לסמוך עליהם באופן עיוור, להגביל את מה שהם יכולים לעשות ולנטר את מה שהם עושים.

מה מיקרוסופט עושה

לפי החברה, פלטפורמת Microsoft Foundry בודקת מאיפה מגיעים מודלים עם משקולות פתוחות (open-weight) לפני שהיא מוסיפה אותם, וקושרת כל מודל למפרסם המקורי שלו. המודלים רצים בתוך containers של מיקרוסופט שנסרקים בנפרד לאיתור פגיעויות קריטיות. הסיכון שנשאר הוא שספק מהימן ייפרץ בעצמו, למשל דרך תשתית האימון שלו או דרך גורם פנימי. כדי להתמודד עם זה, מיקרוסופט עובדת על כלי red-teaming שיתבסס על שיטות הזיהוי מהמחקר, ובוחנת סריקת משקולות בעזרת סוכנים מתקדמים. בנוסף מתוכננת חתימה קריפטוגרפית של מודלים, עם תיעוד מקור שאפשר לאמת ועם תיעוד ביקורת שאי אפשר לשנות בלי שיתגלה.

למה זה חשוב

המשמעות למפתחים ככל הנראה ברורה. מי שמוריד מודל open-weight ממקור לא מוכר ונותן לסוכן גישה ל-terminal, למפתחות או לשרתים, מעניק את ההרשאות האלה גם לכל מי שאולי שינה את המודל בדרך. מבחני ביצועים ובטיחות לא יחשפו את זה. כנראה שההגנה האפקטיבית היא לא רק לבחור "מודל טוב", אלא גם לוודא מאיפה הוא הגיע ולתת לו הרשאות מינימליות.