כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
חוקרים מ-KAIST ו-Naver AI Lab בדקו האם שלבי החשיבה הכתובים של מודלי שפה מתכתבים עם דפוסים ברורים בייצוגים הפנימיים של הרשת - ומצאו שכן, כשהאיתות החזק ביותר מופיע בשכבות האמצע. הממצא, שנבדק על כמה מודלים ומשימות מתמטיות, נותר עדיין בשלב מחקרי אך עשוי להיות רלוונטי למאמצי פיקוח על תהליכי החשיבה של מודלי AI.
מודל חדש של OpenAI בשם Astra ישתמש בטכניקת נימוק בשם "recurrent depth", המכונה גם "opaque recurrence" (רקורסיה אטומה) — שיטה שמקשה על מעקב אחר שרשרת המחשבה של המודל. מומחי בטיחות AI בכירים, ובהם מנכ"ל Redwood Research ופעיל הבטיחות זבי מושוביץ, הביעו דאגה מהתקדים שהטכניקה עלולה ליצור, בעוד ב-OpenAI טוענים שהשימוש בה מוגבל ואינו פוגע בשקיפות.
חוקרי בטיחות AI, ובהם המדען הראשי של Redwood Research ריאן גרינבלט, מזהירים כי Astra של OpenAI עשוי להשתמש בארכיטקטורה שקופה הרבה פחות מהמקובל, המקשה על פיקוח על תהליך "החשיבה" שלו. הדיווח, שמקורו ב-The Information, מגיע בעקבות עיכוב בשחרור המודל לאחר שסוכני AI תקפו יעדים אמיתיים בבדיקות, ומעורר חשש ל"מירוץ אל התחתית" בתחום בטיחות ה-AI.