OpenAI תאמן מודלים על נתוני סשנים של Daybreak Blue, גם של משתמשים שביטלו אימון
החל מ-29 בנובמבר, OpenAI תשתמש בנתוני סשנים של Daybreak Blue, שירות אבטחת הסייבר שלה, לאימון המודלים שלה. עד היום הנתונים האלה לא שימשו לאימון, גם אצל משתמשים שכיבו את הגדרת האימון. אחרי ביקורת חריפה הבטיחה החברה אפשרות נפרדת לסרב (opt-out). השינוי מעורר מחדש את החשש שעלה במחלוקת עם המתמטיקאים Buckmaster ו-Alpöge.
OpenAI הודיעה שהחל מ-29 בנובמבר היא תשתמש לאימון המודלים שלה בנתוני הסשנים של Daybreak Blue, הכלי שלה לעבודה בתחום אבטחת הסייבר. עד עכשיו הנתונים האלה לא שימשו לאימון. כך היה גם אצל משתמשים שכיבו את ההגדרה "improve the model for everyone" (שיפור המודל לטובת כולם), כלומר אצל מי שבחרו במפורש שהשיחות שלהם לא ישמשו לאימון. השינוי אושר במייל שנשלח לחברי תוכנית Trusted Access של החברה, כך דווח ב-THE DECODER.
ביקורת מהירה והבטחה ל-opt-out נפרד
לפי הדיווח, הביקורת על ההחלטה הגיעה מיד. בעקבותיה שלחה OpenAI מייל שני, ובו הבטיחה למשתמשים אפשרות opt-out נפרדת, כלומר מנגנון שיאפשר להם לסרב לשימוש בנתונים של Daybreak Blue לאימון. בנוסף, אינטראקציות שסומנו במהלך בדיקות בטיחות עדיין יוכלו לשמש את החברה לצורכי בטיחות.
מהמקור לא ברור איך ייראה ה-opt-out החדש: האם הוא יפעל מראש, האם יחול גם על נתונים שכבר נאספו, ואיך הוא קשור להגדרת האימון הכללית. כנראה שזו בדיוק הנקודה הרגישה. עד היום כיבוי ההגדרה הכללית הספיק כדי להגן גם על הסשנים האלה. מעכשיו, משתמש שרוצה להשאיר את הנתונים שלו מחוץ לאימון יצטרך ככל הנראה לבצע פעולה נוספת.
למה דווקא נתוני סייבר רגישים
בעבודת אבטחה, מה שמוזן לכלי עשוי לכלול פרטים על מערכות, על חולשות שעוד לא דווחו או על תהליכי הגנה פנימיים. לכן ההבטחה שהנתונים לא ישמשו לאימון חשובה במיוחד בתחום הזה. חשוב גם מי המשתמשים: מדובר בחברי תוכנית Trusted Access, ושם התוכנית מרמז שהגישה ניתנת למשתמשים שעברו סינון כלשהו. כשמשנים את הכללים לקבוצה כזו, הפגיעה באמון עלולה להיות גדולה יותר מאשר אצל משתמשים מזדמנים.
הצל של פרשת Buckmaster ו-Alpöge
לפי THE DECODER, השינוי מדאיג חוקרים שחוששים מחזרה על פרשת Buckmaster-Alpöge. המתמטיקאים Tristan Buckmaster ו-Levent Alpöge העלו ל-Codex של OpenAI טיוטות של עבודה על משוואות Navier-Stokes, אחת הבעיות המוכרות והקשות במתמטיקה של זרימת נוזלים. זמן קצר אחר כך הציגה OpenAI הוכחה משלה. החברה הכחישה שהשתמשה בקלט שלהם לאימון.
גם בלי שהוכח שימוש בפועל, לפי הדיווח עצם החשד הספיק כדי להראות לחוקרים מה עלול להשתבש. כשעבודה שלא פורסמה עוברת דרך מערכת של חברה שמפתחת מודלים, אי אפשר לדעת מבחוץ לאן היא הגיעה. כלל ברור של "לא נאמן על זה" הוא מה שנתן לחוקרים ביטחון. השינוי ב-Daybreak Blue פוגע בדיוק בביטחון הזה.
המשמעות
נראה שהמהלך משקף מתח שמלווה את כל תעשיית ה-AI: מצד אחד הרעב לנתונים איכותיים ומקצועיים, ונתונים של מומחי אבטחה הם כאלה. מצד שני, ההתחייבויות שגרמו לאנשי מקצוע להכניס לכלים את העבודה הרגישה שלהם מלכתחילה. העובדה ש-OpenAI נסוגה חלקית תוך זמן קצר מלמדת ככל הנראה שהמשתמשים האלה לא מקבלים שינויי מדיניות כאלה בשקט. אבל ההבדל בין ברירת מחדל שמגינה על הנתונים לבין opt-out שהמשתמש צריך להפעיל בעצמו הוא מהותי. עד 29 בנובמבר יתברר כמה קל יהיה להשתמש בו בפועל.