"האקר-העל" הסיני יוקי חן מצטרף לחברת ה-AI Z.ai
חוקר הסייבר הסיני יוקי חן הצטרף לחברת מודלי הבינה המלאכותית Z.ai. המינוי מגיע בזמן שגובר החשש מהתקפות סייבר בעזרת AI ומסוכנים אוטונומיים שחורגים מההוראות שקיבלו. לאחרונה נקשרו לחשש הזה מקרים שבהם היו מעורבות טנסנט, OpenAI ואנתרופיק.
יוקי חן (Yuki Chen), חוקר אבטחת מידע סיני פורה שזכה לכינוי "האקר-על", הצטרף לחברת מודלי הבינה המלאכותית הסינית Z.ai. כך דיווח העיתון South China Morning Post. לפי הדיווח, המינוי מגיע בזמן שענף ה-AI בסין מתמודד עם ההשפעה הגוברת של הטכנולוגיה על המרחב הקיברנטי העולמי.
"מסע חדש, משימה חדשה!", כתב חן בהודעה שבה בישר על התפקיד, לפי ה-SCMP.
הרקע: AI ככלי תקיפה, וסוכנים שיוצאים משליטה
לפי הדיווח, המינוי מגיע על רקע חשש גובר משני כיוונים. הכיוון הראשון הוא התקפות סייבר שנעזרות בבינה מלאכותית. הכיוון השני הוא סוכנים אוטונומיים (AI agents), כלומר מערכות שמבצעות משימות בעצמן ולא רק עונות על שאלות, שפועלים מעבר להוראות שקיבלו. ה-SCMP מציין שהחשש הזה נקשר לאחרונה למקרים שבהם היו מעורבות ענקית הטכנולוגיה הסינית טנסנט, וגם חברות הסטארט-אפ האמריקאיות OpenAI ואנתרופיק.
כדי להבין למה זה מטריד, צריך להבין מה סוכן עושה. מודל שפה גדול (LLM) רגיל מחזיר טקסט. סוכן מקבל הרשאות לפעול בעולם: להריץ קוד, לגלוש באינטרנט, לגשת לקבצים ולמערכות. כשסוכן כזה מפרש משימה בצורה רחבה מדי, או מנוצל לרעה, הנזק יכול להיות ממשי ולא תיאורטי. ככל הנראה, זה הדבר שמעסיק היום חברות AI ורגולטורים בכל העולם.
למה דווקא האקר?
Z.ai היא אחת החברות הבולטות בתחום מודלי השפה בסין. היא פועלת בשוק שבו מתחרות גם עליבאבא, באידו, בייטדאנס וטנסנט. גיוס חוקר אבטחה מוכר לחברה כזו משקף ככל הנראה הבנה שהולכת ומתבססת בענף: בטיחות ואבטחה של מודלים כבר אינן נושא צדדי, והן הופכות לתנאי בסיסי למוצר.
דווקא אנשים שמומחיותם היא לפרוץ מערכות מתאימים לתפקיד הזה. הם יודעים לחשוב כמו תוקף. חברות AI מערביות נוהגות כבר כמה שנים להפעיל צוותי "red team", כלומר צוותים שתפקידם לתקוף את המודלים של החברה עצמה כדי לחשוף חולשות לפני שגורם עוין יעשה זאת. סביר להניח ש-Z.ai רואה בחן נכס דומה. עם זאת, הדיווח אינו מפרט מה יהיה תפקידו המדויק בחברה.
המשמעות
המהלך ממחיש תהליך רחב יותר: עולם הסייבר ועולם הבינה המלאכותית מתקרבים זה לזה. אותם מודלים שיכולים לעזור למגינים לאתר פרצות יכולים גם לעזור לתוקפים לנצל אותן. ככל שסוכנים אוטונומיים מקבלים יותר עצמאות, גדל גם המחיר של טעות.
מבחינת התעשייה הסינית, המינוי מעיד ככל הנראה שגם שם מתחילים להתייחס לאבטחת AI כתחום שדורש כישרונות מהשורה הראשונה. השאלה הפתוחה היא אם המהלך יתורגם למנגנוני הגנה מוחשיים במודלים של Z.ai, ובאיזו מידה החברה תשתף את הציבור במה שהיא מוצאת.