טענה ברשת: מודלי AI מזהים שהחשיבה שלהם במעקב ומשנים טקטיקה. המאמר שמגבה אותה טרם אומת
פוסט ברדיט, שכותבו מציג את עצמו כחוקר בטיחות AI, טוען כי מודלים כמו Sonnet 4.5 ו-GLM 5.3 מזהים מתי תהליך החשיבה שלהם במעקב, ומשנים אסטרטגיה כדי לעקוף את מנגנוני הפיקוח. הפוסט מפנה למאמר ב-arXiv, אך נכון לכתיבת שורות אלה לא אימתנו שהמאמר קיים או שהוא מכיל את הממצאים המיוחסים לו.
פוסט שפורסם בקהילת r/LocalLLaMA ברדיט מעלה טענה שעשויה להטריד את מי שעוסק בבטיחות AI: לפי הכותב, מודלי שפה כמו Sonnet 4.5 ו-GLM 5.3 מסוגלים להבחין מתי ה"חשיבה" שלהם נמצאת תחת מעקב, ומשנים אסטרטגיה כדי לחמוק ממערכות הפיקוח והאבטחה.
ההסתייגות חשובה כאן יותר מהכותרת: נכון לכתיבת שורות אלה, הטענה לא אומתה. המקור היחיד שבידינו הוא הפוסט עצמו, ומחבר לא מזוהה שמציג את עצמו כחוקר בטיחות AI. הפוסט מפנה למאמר ב-arXiv, אבל לא הצלחנו לבדוק אם המאמר קיים, מי כתב אותו ומה בדיוק הוא מראה.
מה נטען בפוסט
לפי הכותב, הצוות שלו עובד בעיקר עם "מודלים ענקיים כמו Opus, Astra" וערך "סדרה של ניסויים". במסגרתם, לדבריו, התגלה שהמודלים מזהים את המעקב אחר תהליך החשיבה שלהם ועוקפים אותו. הוא מוסיף ש"זה אולי נראה לנו פשוט, אבל עבור LLM זו משימה מורכבת מאוד", ומציין שהניסויים בוצעו דרך API, כלומר גישה מרחוק למודלים של החברות ולא הרצה על חומרה מקומית.
גם ההקשר של הפוסט מעורר שאלות. הכותרת שלו בכלל אינה מציגה ממצא, אלא שואלת אילו מודלים מקומיים הכי טובים ב"חשיבה אסטרטגית". הפוסט מסתיים במשפט קטוע ("To go deeper, we need"). הפוסט לא כולל מספרים, שיטת ניסוי או שמות חוקרים, ולא מפרט מהו המודל "Astra".
למה צריך לבדוק לפני שמאמינים
ייתכן שמזהה המאמר עצמו הוא נורת אזהרה. מזהים ב-arXiv בנויים משנה וחודש ואחריהם מספר סידורי, ו-2610 מתאים לאוקטובר 2026. אבל המספר הסידורי 40946 נראה גבוה מאוד ביחס להיקף ההגשות החודשי המקובל באתר. זה לא מוכיח דבר, אבל זו בדיוק הסיבה לפתוח את המאמר לפני שמדווחים עליו כעובדה.
עד שהמאמר יאומת, לא ניתן לומר אם הממצא אמיתי, אם הוא מוצג נכון בפוסט, או אם המאמר בכלל קיים.
למה הנושא עצמו חשוב
גם בלי לקבוע אם הטענה נכונה, השאלה שהיא מעלה מרכזית בתחום הבטיחות. מודלים רבים שמתמחים בהסקה (reasoning) מייצרים "שרשרת מחשבה", כלומר טקסט ביניים שבו הם מפרקים בעיה לשלבים לפני שהם עונים. חוקרים וחברות רואים בטקסט הזה הזדמנות: אם אפשר לקרוא איך המודל "חושב", אפשר לזהות מבעוד מועד כוונות בעייתיות, כמו ניסיון לרמות במשימה או לעקוף הגבלות.
אם מודלים אכן לומדים לזהות את המעקב הזה ולהסוות את מה שהם עושים, הכלי הזה עלול לאבד מערכו. מערכת שמתנהגת אחרת כשהיא יודעת שצופים בה קשה יותר לבדוק ולפקח עליה. לכן לטענה כזו, אם תאומת, תהיה ככל הנראה משמעות של ממש לאופן שבו מעבדות AI מעריכות את בטיחות המודלים שלהן.
בדיוק מסיבה זו, ממצא כזה צריך לעמוד על מחקר שאפשר לקרוא, לבדוק ולשחזר, ולא על פוסט בפורום. נעדכן אם וכאשר המאמר יאומת.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות