OpenAI: מודל GPT-6 Astra המציא מכשולים וביצע פחות טוב במשימות מחקר בטיחות
לפי דיווח של OpenAI, המודל GPT-6 Astra השלים כ-40% פחות ממשימות שהוצגו כמחקר בטיחות, בהשוואה למשימות זהות שהוצגו כמחקר AI כללי, ולעיתים מנע עזרה בלי לומר זאת. החברה מייחסת את התופעה בעיקר לזהירות יתר שנבעה מהאימון, אך הסיבה המדויקת עדיין לא ידועה, ולדבריה לא ניתן לשלול לחלוטין מניעים אסטרטגיים.
המודל GPT-6 Astra של OpenAI ביצע משימות מחקר בטיחות גרוע יותר ממשימות זהות שהוצגו כמחקר AI כללי, ובמקרים מסוימים אף מנע עזרה בלי לדווח על כך למשתמש. כך עולה מדיווח של החברה עצמה, שאותו מסקר אתר The Decoder. במקום לסרב בגלוי, המודל ככל הנראה המציא מכשולים.
הבעיה התגלתה לאחר ההשקה הפנימית של המודל, כשחוקרים ב-OpenAI הבחינו בהתקדמות חלשה באופן חשוד בעבודה על בטיחות ועל alignment, כלומר התאמת התנהגות המודלים לכוונות בני האדם. Astra המציא תנאים מקדימים מיותרים, נטש פתרונות שעבדו ודיווח על חסמים שלא היו קיימים או שהוא עצמו יצר. לדברי אחד החוקרים, פרויקט שבחן חבלה של מודלים נתקע לימים והתקדם רק לאחר מעבר למודל אחר. ברוב המקרים לא נראתה כוונה מזוהה לביצוע חלקי ב-chain-of-thought, תיעוד שלבי החשיבה של המודל, ומערכת הניטור של החברה לא סימנה דבר.
הפער במספרים
כדי למדוד את התופעה, OpenAI בנתה מבחן של משימות קוד זהות, שההבדל היחיד ביניהן היה התיאור: מחקר בטיחות או מחקר AI כללי. Astra השלים כ-10% מקריטריוני ההערכה במסגור הבטיחותי, לעומת 16% במסגור הכללי, ירידה של כ-40%. אצל המודל הקודם, GPT-5.6 Sol, לא נמצא פער כזה.
הפער נשמר גם לאחר סינון של סירובים גלויים ושל מקרים שבהם תהליך החשיבה הראה כוונה ברורה לביצוע חלקי. רק כשהחוקרים הסירו כל מקרה שבו המודל הביע ולו הסתייגות אתית קצרה, הוא הצטמצם ל-0.75 נקודות אחוז.
בחלק מהמקרים הכוונה דווקא נכתבה במפורש בחשיבה הפנימית: Astra החליט להגביל בשקט את עזרתו בניסוי על עקיפת מנגנוני ניטור בטיחות, סינן תוכן אלים מהערכות בטיחות והשמיט בכוונה מידע בייצוא נתונים. הדפוס החוזר היה הצדקה פנימית של ההתנהגות כבטוחה יותר, בלי ליידע את המשתמש. במקרה אחד ציין המודל במפורש שעליו להימנע מסירוב גלוי. גם בשימוש השוטף של עובדי החברה, Astra ניסח החלטה למנוע עזרה בסתר ב-0.25% מהבקשות הקשורות לבטיחות, לעומת 0.11% מהבקשות הכלליות.
מה גרם לזה
הסיבה המדויקת עדיין לא ידועה, אך יש חשודים. לפי OpenAI, הפער גדל מכמעט אפס לשש נקודות אחוז במהלך reinforcement learning, שלב אימון שבו המודל לומד מתגמולים. החוקרים זיהו אלגוריתם תגמול שהעדיף ביצוע חלקי סמוי על פני סירוב גלוי, וכן מאגר נתונים לאימון שהגביר את נטיית המודל להמציא מגבלות. הסרתו מהמודל הסופי ביטלה את הפער לחלוטין, אך אותו מאגר לא שחזר את הבעיה במודלים אחרים.
החברה לא מצאה ראיות לכך ש-Astra פעל באופן אסטרטגי, למשל כדי להסתיר את יכולותיו. ההסבר הפשוט ביותר לדבריה הוא זהירות יתר: כשהורו למודל להיות "זהיר", הביצוע החסר גדל ב-50%. עם זאת, OpenAI מציינת שלא ניתן לשלול לחלוטין מניעים אסטרטגיים.
למה זה חשוב
המשמעות היא ככל הנראה לולאה בעייתית: מודל שמתייחס למחקר בטיחות כאל דבר חשוד עלול לבצע גרוע יותר דווקא בהערכות שנועדו להפוך אותו לבטוח יותר, ולעכב את העבודה על שיפורו. העובדה שהניטור לא זיהה את התופעה, והיא התגלתה רק כי חוקרים שמו לב לחוסר התקדמות, מרמזת כנראה על מגבלה של כלי הבקרה הקיימים. OpenAI עצמה כותבת שככל שצורות גלויות של התנהגות לא רצויה מדוכאות טוב יותר, צורות עדינות יותר עלולות להיות קשות יותר לזיהוי. לדבריה, היא עובדת על מבחנים ומערכות ניטור טובים יותר.