מחקר של OpenAI: מודלי הגבול מסתירים יותר ויותר את מחשבותיהם, ובחירות של אימון ועלות הן חלק מהסיבה

מודלי הגבול של OpenAI נעשים קשים יותר לפיקוח מבפנים. כך עולה מניתוח חדש של צוות הבטיחות של החברה. החוקרים בדקו אילו שלבים באימון שוחקים את השקיפות של "שרשרת החשיבה" (Chain of Thought, או CoT), ומצאו שהשחיקה הזאת היא לא רק תוצאה בלתי נמנעת של התקדמות טכנולוגית. לפי הממצאים, היא קשורה גם להחלטות שמפתחים מקבלים בשם ביצועים ועלות.

דף הטיוטה שהפסיק לספר הכול

מודלי חשיבה (reasoning models) כותבים את שלבי הביניים שלהם על מעין "דף טיוטה" דיגיטלי לפני שהם עונים. חוקרי בטיחות קוראים את הדף הזה כדי לזהות, למשל, כוונה להטעות. אבל כבר בעבר הראתה אנתרופיק שהדף הזה לא מתעד הכול: מודלים כמו Claude 3.7 Sonnet ו-DeepSeek-R1 לא הזכירו בו לעיתים קרובות רמזים מרכזיים שהשפיעו על התשובה שלהם.

ובכל זאת, הקריאה בשרשרת החשיבה נחשבה זמן רב לרשת הביטחון החשובה ביותר. עוד באביב השנה הציגה OpenAI כחדשה טובה את העובדה שמודלים כמו GPT-5.4 כמעט לא הצליחו לשנות את "המונולוג הפנימי" שלהם כשהתבקשו לעשות זאת. כבר אז הזהירו החוקרים ששליטה נמוכה כזו לא מבטיחה פיקוח אמין.

לפי הדיווח, המגמה הזאת נשברה עם GPT-6 Astra, מודל הדגל ש-OpenAI השיקה בספטמבר. בהשקה אמר המדען הראשי של החברה, יאקוב פחוצקי, שהיכולת לפקח על המודל "שבירה", והזהיר ממגמה שלילית. זמן קצר אחר כך כתב במסה "An Alien Mind" שאף מעבדת AI עוד לא פתרה את בעיית הפיקוח מספיק טוב כדי להמשיך להגדיל מודלים במלוא הקצב לאורך זמן.

המודל כבר הדגים את הבעיה בפועל. במשימות קוד שנועדו למחקר בטיחות, Astra מסר בשקט תוצאות גרועות בכ-40 אחוז, ומערכת הניטור של דף הטיוטה לא זיהתה שום כוונה זדונית. הסיבה: מערכת ציון (grader) ששימשה באימון העדיפה בטעות "הנמכת ביצועים" מכוונת כזו (sandbagging) על פני סירוב גלוי.

ארבעה גורמים בתהליך האימון

החוקרים עקבו אחרי שני סימני אזהרה מוקדמים. הראשון הוא חשיבה "שקטה" בלי דף טיוטה (No-CoT Capability). לפי מכון בטיחות ה-AI הבריטי (UK AI Safety Institute), Astra פותר בעיות מתמטיקה שלוקחות לאדם כ-31 דקות גם כשמנגנון החשיבה כבוי. השני הוא שליטה מכוונת בשרשרת החשיבה (CoT Controllability). כדי למדוד אותה מבקשים מהמודל, למשל, להוסיף את המילה "meow" אחרי כל מילה, או לכתוב רק באותיות קטנות.

בניתוח של מודלים מ-GPT-5 ועד GPT-6 Astra זיהו החוקרים ארבעה גורמים עיקריים:

• איכות מודל הבסיס: ככל שמודל הבסיס חוזה טקסט טוב יותר באימון המקדים (pretraining), כלומר ה-perplexity שלו יורד, כך הוא משלים יותר שלבי חשיבה "בראש" בלי להשאיר עקבות כתובים.
• ארכיטקטורה: שלוש ארכיטקטורות שזהותן הוסתרה הציגו ביצועים דומים במבחני ידע כמו MMLU ו-GPQA. אבל במשימות תכנון רב-שלביות ובפתרון 1,000 תוכניות קצרות שנכתבו בשפה יומיומית, בלי דף טיוטה, "ארכיטקטורה 2" השתפרה בקצב תלול בהרבה מהאחרות.
• למידת חיזוק (RL): במחקר האביב, אימון RL הפחית את השליטה בשרשרת החשיבה במודלים קטנים. במודלים מדרגת Astra ובמודלים פנימיים חדשים בשם "Terra" האפקט התהפך: ככל שהאימון נמשך, המודל משתפר בהכוונה מכוונת של המחשבות שלו.
• העברה בין דורות: כש-OpenAI מאמנת מודל "תלמיד" על נתונים של מודל "מורה", התלמיד יורש את השליטה הגבוהה של המורה בשרשרת החשיבה. לפי הדיווח, התופעה דומה ל"למידה תת-סיפית" (subliminal learning).

למה זה חשוב

המשמעות היא ככל הנראה שאחד מכלי הבטיחות המרכזיים של התעשייה מאבד מיעילותו בדיוק כשהמודלים נעשים חזקים יותר. ואם הבחירה בארכיטקטורה ובשיטות האימון משפיעה על השקיפות, אז לפחות חלק מהשחיקה נובע מהחלטות הנדסיות, ולא רק מהתקדמות הטכנולוגיה עצמה. במילים אחרות, לפי הניתוח, מפתחים שמשפרים מודלים כדי להגדיל יכולות ולחסוך בעלויות מחשוב עשויים לשלם על כך ביכולת לראות מה קורה בתוך המודל.