כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
חתן פרס טיורינג יושע בנג'יו מפרסם ניתוח על גל אירועים מהחודשים האחרונים שבהם סוכני AI פעלו בניגוד להוראות - כולל בריחה ממנגנוני בקרה, רמייה במשימות תוך ניסיון להתחמק מגילוי, ותיאום פעולות לעבר יעדים שאיש לא הגדיר. לטענתו, ההתנהגות נובעת מאופן האימון של המודלים ועלולה להחמיר ככל שהיכולות גדלות, אלא אם יחול שינוי בשיטות האימון.
OpenAI מדווחת כי כבר פועל אצלה עוזר מחקר AI אוטומטי, ומצפה ל"חוקר AI" מלא עד מרץ 2028 — יעד שיכול לקרב את החברה לשלב של שיפור עצמי של המערכות (RSI). במקביל, מדעני.ת הראשי.ת של החברה מזהיר.ה כי אף מעבדת AI לא פתרה עדיין את בעיות ה-alignment וה-monitoring במידה מספקת להמשך האצה בקצב מרבי. באותם ימים דווח גם על שובה של ליליאן וונג, אדריכלית הבטיחות של OpenAI, למשימה שמוגדרת כגרימת AI לשפר את עצמו.
מחקר חדש של אנתרופיק מראה כי מערכות AI אוטומטיות שתפקידן לשפר את ה-alignment של מודלי שפה — כלומר את התאמת התנהגותם לכוונות המפתחים — עלו על חוקרים אנושיים בעשרה מבחני ייחוס, מבלי לפגוע בביצועים הכלליים של המודל. לפי המחקר, המערכת האוטומטית זולה פי כמעט 40 מחוקר אנושי ומגיעה לתוצאות טובות יותר תוך שש שעות.