OpenAI מכינה מודל דגל חדש, אבל הבטיחות שלו עדיין לא סגורה
לפי דיווח ב-The Information, מודל הדגל הבא של OpenAI מבוסס על טכניקת הטרנספורמר בלולאה שמפעילה גם את Astra. הטכניקה משפרת ביצועים במתמטיקה ובקוד, אבל מקשה על ניטור בטיחות. עובדים בחברה מעריכים שעד סוף השנה ייצאו מודל אחד או שניים, גם אם הדגל עצמו יתעכב.
OpenAI ככל הנראה תשיק "מודל חדש אחד או שניים" עד סוף השנה, כך לפי עובדים בחברה. עם זאת לא ברור אם "המודל המשודרג הגדול", שעליו החברה עובדת עכשיו, יהיה ביניהם. את הדברים פרסם אתר The Information בהסתמך על אנשים שמכירים את הפרויקטים, כפי שסיכם THE DECODER. לפי הדיווח, מודל הדגל החדש עוד זקוק לעבודת alignment (התאמה), כלומר עבודה שמוודאת שהמטרות שלו תואמות את מה שהחוקרים והלקוחות של OpenAI מצפים לו. בנוסף, החברה צריכה לחזק את תשתית הבדיקות סביב המודל לפני שתוכל להתקדם.
עוד מכשול: הממשל האמריקאי
גם אחרי שההנהלה תהיה מרוצה מהערכות הבטיחות, נשאר שלב נוסף. במסגרת צו נשיאותי של הנשיא טראמפ, שמסדיר הערכה של מערכות AI מתקדמות, OpenAI הסכימה לתת לממשל האמריקאי גישה למודלים חדשים עד 30 יום לפני שהם מגיעים לשותפים חיצוניים, ועוד יותר זמן לפני השקה לציבור. המשמעות היא שגם מבחינה טכנית, תאריך ההשקה של הדגל לא תלוי רק ב-OpenAI.
טרנספורמר בלולאה: חזק יותר, שקוף פחות
לפי מקור שמכיר את הנושא, גם הדגל החדש מבוסס על looped transformers (טרנספורמרים בלולאה). OpenAI כבר משתמשת בטכניקה הזו בפועל תחת השם "Recurrent Depth", והיא מרכזית לאופן שבו פועל Astra, המודל המוביל הנוכחי של החברה.
הרעיון הוא כזה: במקום להעביר כל token (יחידת טקסט) פעם אחת דרך שכבות המודל, המודל מריץ אותו כמה פעמים דרך אותן שכבות לפני שהוא מפיק את המילה הבאה. זה משפר ביצועים במתמטיקה ובקוד ומוריד עלויות, כי מודל קטן יחסית מצליח להגיע לתוצאות של מודל גדול ממנו.
אבל יש לזה מחיר. הלולאה מעבירה חלק מה"חשיבה" של המודל מטקסט קריא לייצוגים מספריים פנימיים, ובודקים אנושיים לא יכולים לקרוא אותם. זה פוגע ב-chain-of-thought monitoring, שיטה שבה חוקרי בטיחות עוקבים אחרי שרשרת ההיגיון הכתובה של המודל כדי לזהות התנהגות בעייתית. לפי The Information, OpenAI הגבילה בכוונה את מספר הלולאות ש-Astra מריץ, כדי ששרשרת המחשבה שלו תישאר קריאה.
המדען הראשי של OpenAI, יאקוב פחוצקי, כבר הודה בעבר שניטור שרשרת המחשבה הופך ל"שביר" ו"לצערנו מגמתו שלילית". הוא גם הזהיר מפני מרוץ של כל התעשייה לעבר מודלים שההיגיון שלהם לא קריא.
דליפה דרך מיקרוסופט
איך OpenAI משתמשת בטכניקה בפועל התברר בעקבות פספוס של מיקרוסופט. המשקיעה הגדולה, שיש לה גישה לקניין הרוחני של OpenAI, פרסמה סקירה טכנית על GPT-6.1 Sol. זו חלופה זולה ל-Astra ש-OpenAI השיקה מוקדם יותר החודש. בקטע שכבר נמחק תיארה מיקרוסופט "looping inference", שבו המודל עובר על אותה בעיה בכמה "מעברים" לפני שהוא עונה. לפי ציטוט שהביא The Information מעותק שמור של הדף, GPT-6.1 Sol "משתמש באותם משקלי מודל בסיס כמו GPT-6 Sol, עם שני מעברי היסק במקום שלושה". מקור עם ידע ישיר אישר שהתיאור תאם את מה ש-OpenAI מסרה למיקרוסופט באופן פרטי, ומיקרוסופט הסירה את הקטע כשהבינה שהוא לא נועד לפרסום.
כמה משקיעים בבטיחות
לפי אדם שמכיר את הנתונים, אחרי אירוע Hugging Face העבירה OpenAI כעשרה אחוזים מכלל כוח המחשוב שלה לעבודת alignment ובטיחות. לפי The Information מדובר בקיבולת של מאות מגה-וואט במרכזי נתונים. לפי מחירי השוק, שכירת כוח מחשוב בהיקף כזה הייתה עולה מיליארדי דולרים בשנה. לא ברור כמה הוקצה לבטיחות לפני כן ומה החלוקה כיום. החוקר נועם בראון סיפר בפודקאסט באמצע ספטמבר שגם כעשרה אחוזים מהצוות שלו עובדים על אבטחה ובטיחות.
למה זה חשוב
הסיפור מציג מתח שככל הנראה ילווה את התעשייה בתקופה הקרובה. אותה טכניקה שמאפשרת למודלים להיות חזקים וזולים יותר גם מצמצמת את היכולת לראות מה קורה בתוכם. ההחלטה של OpenAI להגביל את הלולאות ב-Astra מרמזת שבינתיים החברה מוכנה לוותר על חלק מהביצועים כדי לשמור על שקיפות. השאלה היא אם האיזון הזה יחזיק גם במודל הדגל הבא, ובאיזה מחיר מבחינת לוח הזמנים.