יום שלישי, 13 באוקטובר 2026 מתעדכן אוטומטית כל שעה
→ חזרה למהדורה

מחקר: מודלי AI יכולים להסתיר יכולות שרירותיות באופן שניתן להוכיח

מאמר אקדמי חדש שהתקבל לכנס NeurIPS 2026 מראה שאפשר להטמין בתוך משקלות של מודל AI רשת נוירונים מוצפנת. הרשת הזו נפתחת ופועלת רק כשהמודל מקבל טריגר סודי, וגם גישה מלאה למשקלות לא מספיקה כדי לחשוף אותה. לפי החוקרים, הממצא מצביע על גבול מובנה של בדיקות בטיחות שמנסות לחלץ מהמודל יכולות מסוכנות לפני ההשקה.

קבוצה של ארבעה חוקרים פרסמה מאמר שמערער על אחת ההנחות שעליהן נשענות הערכות הבטיחות של מודלי AI: ההנחה שאם יש למודל יכולת מסוכנת, בדיקה מספיק יסודית תמצא אותה. במאמר שפורסם ב-arXiv ב-9 באוקטובר 2026, תחת הכותרת "AI Models Can Provably Hide Arbitrary Capabilities", מראים Andis Draguns,‏ Sumeet Ramesh Motwani,‏ Raymond Douglas ו-Christian Schroeder de Witt שבתנאים עוינים ההנחה הזו לא מחזיקה. לפי עמוד המאמר, הוא התקבל לכנס NeurIPS 2026.

מה בדיוק הראו החוקרים

חשוב להבהיר מראש: זו עבודה אקדמית, לא הכרזה מסחרית, והיא לא טוענת שמודל קיים כלשהו מסתיר יכולות. החוקרים בנו בכוונה מתקפת backdoor (דלת אחורית, כלומר התנהגות חבויה שמופעלת רק בתנאי מסוים). הם הטמינו רשתות נוירונים מוצפנות בתוך המשקלות של מודל "מארח". הרשת החבויה מפוענחת ומורצת רק כשהמודל מקבל טריגר סודי.

לשם כך השתמשו החוקרים במנגנון קריפטוגרפי שנקרא digital lockers ("כספות דיגיטליות"). באופן כללי זה מנגנון שמשחרר את התוכן שנעול בו רק למי שמחזיק במפתח הנכון. לפי המאמר, תחת הנחות קריפטוגרפיות המעגלים המוסתרים "קשים באופן מוכח" לחילוץ ולפענוח, וזה נכון גם כשיש גישה מלאה למשקלות המודל. החוקרים מציינים שעבודות קודמות הראו כיצד להסתיר מחרוזות קבועות, ואילו הם מרחיבים את הרעיון להסתרה של חישובים שרירותיים. במילים אחרות, אפשר להסתיר יכולת שלמה ולא רק פיסת מידע.

איך זה נבדק

החוקרים מימשו את הקונסטרוקציות כהוכחת היתכנות (proof of concept) ב-PyTorch. לאחר מכן ניסו לחלץ את היכולת החבויה בכמה שיטות מקובלות:

  • fine-tuning: אימון נוסף של המודל;
  • weight noising: הוספת רעש למשקלות;
  • חיפוש טריגר מבוסס גרדיאנטים: ניסיון למצוא את המפתח הסודי באופן אוטומטי;
  • latent adversarial training: אימון עוין ברמת הייצוגים הפנימיים של המודל.

כל השיטות הופעלו על משימה קטנה של חיזוי תגובות כימיות, שהחוקרים בחרו כ"פרוקסי" ליכולות רלוונטיות לתחום CBRN (נשק כימי, ביולוגי, רדיולוגי וגרעיני). לדבריהם, התוצאות מראות עמידות בפני כל השיטות האלה. יחד עם ההבטחות הקריפטוגרפיות, הן חושפות לטענתם "גבול של ביקורות יכולות המבוססות על חילוץ".

למה זה חשוב

מעבדות AI וגופי רגולציה נשענים יותר ויותר על הערכות יכולות (capability evaluations) כדי להחליט אם מודל בטוח להשקה. הבודקים מנסים לגרום למודל להפגין יכולות מסוכנות, ואם לא הצליחו, מניחים שהיכולות כנראה לא קיימות. המשמעות של המחקר היא שההיגיון הזה עלול לקרוס כשמי שבנה את המודל, או מי שהתערב בו, פועל בכוונה כדי להסתיר משהו. ככל הנראה, בדיקה מבוססת חילוץ לבדה לא יכולה לשמש ערובה מלאה במצב כזה.

מצד שני, כדאי לשים לב לגבולות של הממצא. ההדגמה נעשתה על משימה קטנה, והתרחיש שהיא מתארת הוא תרחיש עוין שבו מישהו מטמין יכולת במכוון, ולא מודל שמפתח יכולות חבויות מעצמו. לכן סביר להעריך שההשלכה המעשית המרכזית נוגעת לשרשרת האספקה של מודלים ולאמון במי שמאמן אותם, ופחות להתנהגות "ספונטנית" של מודלים.

החוקרים מסרו שהם משחררים את המודלים שבנו כדי לתמוך בשיפור ההגנות, כך שחוקרים אחרים יוכלו לנסות לפרוץ את ההסתרה או לפתח שיטות זיהוי חלופיות.

💬 יש לכם הערה על הכתבה?
פרסומת

→ לכל הכתבות