Z.ai ו-Concordia AI מציעות מסגרת בת שישה שלבים לניהול סיכונים במודלי open-weight
חברת ה-AI הסינית Z.ai וחברת הייעוץ לבטיחות Concordia AI מבייג'ינג פרסמו דוח על ניהול סיכונים במודלי open-weight, ובו תהליך בן שישה שלבים. לדבריהן, זהו הבסיס המקיף והמבוסס-ראיות הראשון לאיזון בין הסיכונים והתועלות של מודלים שכל אחד יכול להוריד ולשנות. הדוח מתפרסם כשחברות סיניות מובילות את תחום המודלים הפתוחים, ולכן הן גם אלה שצריכות להתמודד ראשונות עם שאלת הבטיחות.
חברת ה-AI הסינית Z.ai וחברת הייעוץ לבטיחות AI מבייג'ינג Concordia AI פרסמו ביום שני דוח על ניהול סיכונים במודלי open-weight, כלומר מודלים שהמשקלים שלהם זמינים לכולם. לפי דיווח ב-South China Morning Post, הדוח מציע תהליך בן שישה שלבים. לדברי שתי החברות, הוא מהווה "הבסיס המקיף והמבוסס-ראיות הראשון" לאיזון בין הסיכונים של מערכות כאלה לבין התועלות שלהן.
מה ההבדל בין מודל סגור למודל פתוח
כדי להבין למה צריך מסגרת נפרדת, צריך להבין מה ההבדל בין שני סוגי המודלים. במודלים הסגורים של מעבדות אמריקאיות כמו OpenAI ואנתרופיק, המשתמשים ניגשים למודל דרך ממשק או API, ואילו המודל עצמו נשאר על השרתים של החברה. במודלי open-weight, כפי שמסביר ה-SCMP, הפרמטרים המאומנים, שהם בעצם "המוח" של המודל, זמינים להורדה חופשית. כל אחד ברשת יכול לשנות אותם, לבצע להם fine-tuning (אימון נוסף שמתאים את המודל למשימה מסוימת) ולהריץ אותם באופן עצמאי.
מכאן נובעת הבעיה שהדוח מנסה לפתור. כשמודל סגור מתנהג בצורה מסוכנת, החברה יכולה לעדכן אותו, לחסום בקשות מסוימות או לסגור את הגישה. אחרי שמודל פתוח שוחרר, אין כבר דרך לאסוף אותו בחזרה. מנגנוני הבטיחות שהוטמעו בו במהלך האימון עלולים להיחלש, או להיות מוסרים בכוונה, כשמישהו אחר מאמן אותו מחדש.
למה זה נוגע דווקא לסין
לפי ה-SCMP, מפתחים סיניים הם ששולטים היום באקוסיסטם של מודלי open-weight. לכן הם גם אלה שנתקלים בבעיה הייחודית הזאת: איך לוודא שמודל שמשתמשים יכולים לשנות יישאר בטוח גם אחרי שחרורו. הדוח מתפרסם, כלשון הכתבה, על רקע ויכוח שמתעצם סביב הסיכונים של ההתקדמות המהירה ב-AI.
אחת המחברות היא Z.ai, מפתחת בעצמה של מודלי שפה. המשמעות ככל הנראה היא שהמסמך אינו רק ניתוח חיצוני של גוף מחקרי. הוא משקף גם את נקודת המבט של חברה שמשחררת מודלים פתוחים ונדרשת להתמודד עם ההשלכות בפועל.
למה זה חשוב
בוויכוח העולמי על מודלים פתוחים נוטים להציג שתי עמדות קיצוניות. לפי הראשונה, שחרור משקלים מקדם מחקר, שקיפות ותחרות. לפי השנייה, הוא מוסר יכולות רגישות לידיים שאי אפשר לפקח עליהן. דוח שמציע תהליך מובנה, ולא הכרעה של כן או לא, מנסה ככל הנראה למצוא דרך ביניים: להמשיך לשחרר מודלים, אבל לנהל את הסיכונים בשלבים מוגדרים.
ייתכן שיש לכך גם משמעות גאופוליטית. כשהדיון על בטיחות AI מזוהה בעיקר עם מעבדות אמריקאיות ועם רגולטורים במערב, מסגרת שיוצאת מתוך האקוסיסטם הסיני עשויה להשפיע על האופן שבו מוגדרים סטנדרטים בתחום שבו לסין יש כיום משקל רב.
החומרים שעמדו לרשותנו אינם מפרטים מהם ששת השלבים. עוד לא ברור אם מפתחים אחרים יאמצו את המסגרת, ואם היא תשפיע על רגולציה בסין או מחוצה לה.