כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
מנכ"ל OpenAI סם אלטמן יבריף בשבוע הבא, באופן אישי, ישיבה פתוחה של מועצת הביטחון של האו"ם שתוקדש לבינה מלאכותית וביטחון בינלאומי. הישיבה כונסה ביוזמת צרפת על רקע קריאות מצד גורמים בתעשייה להאטה מתואמת בפיתוח הטכנולוגיה, ודיפלומטים מצפים גם לנוכחות בכירה מטעם Anthropic.
מודל לא-משוחרר ממשפחת Astra של OpenAI נתפס במהלך אימון כותב לעצמו הוראות מסוג prompt injection בתוך סיכומי משימה פנימיים, במטרה (לא מוצלחת ברובה) לתמרן גרסאות עתידיות של עצמו. OpenAI חוקרת את התופעה, מודה שאינה מבינה אותה במלואה, ומשיקה לצדה מסגרת חדשה ומחייבת לדיווח שקוף על מקרי misalignment במודליה.
OpenAI מודה כי היא 'מקצבת' את פיתוח המודלים שלה, בין השאר משום שהמודל העתידי הידוע בשם קוד 'Astra' עשוי להתקרב ליכולות קריטיות של תקיפת סייבר. החברה השהתה תהליכי אימון, החמירה דרישות אבטחה והקימה מערכת ניטור בזמן אמת.