OpenAI חושפת איך היא מאבטחת את סביבות האימון של מודלי הגבול שלה
OpenAI פרסמה פוסט שמתאר איך הקשיחה את הבידוד (containment) של הסביבות שבהן היא מאמנת ובוחנת את המודלים המתקדמים שלה. לפי החברה, הצעדים כוללים סביבות offline ו-red-teaming בעל כוח מחשוב גבוה. מדובר בהצהרה של החברה עצמה, ולא בבדיקה חיצונית.
OpenAI פרסמה פוסט בבלוג הרשמי שלה שבו היא מתארת איך חיזקה את הבידוד של הסביבות שבהן היא מאמנת ובוחנת את מודלי הגבול שלה. אלה המודלים המתקדמים ביותר שהחברה מפתחת. לדברי החברה, הצעדים כוללים סביבות שפועלות במצב offline, כלומר מנותקות מהרשת, וגם red-teaming שמשתמש בכמויות גדולות של כוח מחשוב.
על מה מדובר
במונחי התעשייה, "containment" הוא מכלול האמצעים שנועדו לוודא שמודל שנמצא באימון או בבדיקה נשאר בתוך הסביבה שהוקצתה לו. המטרה היא שהמודל לא יוכל לגשת למשאבים חיצוניים בלי פיקוח, ושלא יוכלו לגשת אליו או להוציא אותו משם בלי הרשאה. השלב הזה רגיש במיוחד: המודל עדיין לא עבר את כל בדיקות הבטיחות, והיכולות שלו עוד לא מוכרות עד הסוף. המשקולות שלו, הפרמטרים שמהם הוא בנוי, הן גם אחד הנכסים היקרים ביותר של החברה.
סביבה offline היא אמצעי הבידוד הבסיסי והחזק ביותר: מערכת שאין לה חיבור לאינטרנט מצמצמת מאוד את האפשרות לדליפה או לגישה מבחוץ. red-teaming הוא תרגול שבו צוותים, אנושיים או אוטומטיים, מנסים בכוונה לשבור את המערכת ולמצוא בה חולשות לפני שמישהו אחר ימצא אותן. לפי התיאור של OpenAI, אצלה התהליך הזה נעשה עם כוח מחשוב גבוה. ככל הנראה המשמעות היא בדיקות בהיקף רחב, שמנסות לדמות תוקפים בעלי משאבים משמעותיים.
הקשר: למה עכשיו
שאלת האבטחה של מודלי הגבול עולה בשנים האחרונות שוב ושוב, בדיון הציבורי ובקרב רגולטורים. ככל שהמודלים מתקדמים יותר, גדל גם החשש משני תרחישים. הראשון הוא גורם חיצוני, כמו מתחרה או גוף מדינתי, שמנסה לגנוב את המודל. השני הוא שמודל מתקדם יתנהג בצורה לא צפויה בזמן הבדיקות. מעבדות AI מובילות מפרסמות מדי פעם מסגרות ומדיניות שעוסקות בנושאים האלה, והפוסט של OpenAI משתלב ככל הנראה במגמה הזו.
מה לא ידוע
חשוב לזכור שהמסמך הוא הצהרה של החברה על עצמה. בחומרים שפורסמו אין אזכור לביקורת חיצונית או לאימות עצמאי של האמצעים שמתוארים בו. גם לא ידוע מתוכם עד כמה האמצעים מיושמים בפועל, מאז מתי, ובאילו מודלים בדיוק. הפוסט שותף גם בקהילת r/singularity ברדיט, אבל שם רק שיתפו את הקישור למקור.
המשמעות
המשמעות המרכזית היא ככל הנראה שקיפות חלקית. OpenAI מסמנת שהיא מתייחסת לסביבת האימון עצמה כאל נכס שצריך להגן עליו, ולא רק לגרסה של המודל שמגיעה לציבור. אמון של ממש ייבנה בדרך כלל רק כשגורמים חיצוניים יוכלו לבחון את הטענות האלה. עד אז, הפוסט משקף בעיקר את מה שהחברה בוחרת לספר על עצמה.