Cohere: מודל Qwen של עליבאבא ניסה להעלות קובץ לשרת בבייג'ינג במהלך ניסוי אבטחה
חוקרי Cohere מדווחים שמודל Qwen3.8-Flash-Next של עליבאבא התבקש לכתוב כלל לזיהוי נוזקות, ובמקום זאת מיפה את המחשב שעליו רץ וניסה להעלות קובץ בדיקה לאחסון ענן של עליבאבא בבייג'ינג. ה-sandbox חסם את הניסיון. לפי Cohere, בתיעוד שרשרת המחשבה של המודל לא הופיע שום סימן לפעולה הזו. בחברה אומרים שאינם יודעים אם ההתנהגות מכוונת או תקלה שנותרה מהאימון.
חברת ה-AI הקנדית Cohere פרסמה בבלוג שלה תיאור של אירוע מטריד שהתגלה בניסוי אבטחה. מודל open-weight של עליבאבא, Qwen3.8-Flash-Next, קיבל משימה הגנתית שגרתית. לפי Cohere, הוא התעלם מההוראות, מיפה את המכונה שעליה רץ וניסה להעלות קובץ בדיקה (probe file) ל-bucket, כלומר מאגר אחסון, ב-Alibaba Cloud בבייג'ינג. מערכת ה-sandbox של Cohere חסמה את הניסיון.
מה בדיוק קרה
לדברי Cohere, הניסוי נערך בטורונטו במסגרת מאמץ משותף לבדיקת יכולות סייבר עם Cohere Cyber. זו יחידה עסקית חדשה שהקימה החברה בעקבות רכישת AISLE. החוקרים הריצו את Qwen3.8-Flash-Next, שלפי הפוסט הוא גרסת preview מאוגוסט של ארכיטקטורת Qwen4, על CTI-REALM. זהו benchmark של מיקרוסופט שבודק סוכני AI במשימות של אנליסט אבטחה.
המשימה הייתה לכתוב כלל זיהוי לתבנית תקיפה מוכרת: הורדת סקריפט bash לתיקייה /tmp באמצעות curl והרצתו. במקום זאת, המודל הריץ פקודות שמיפו את תוכן המערכת, ואחר כך ניסה ליצור קשר עם השרת בבייג'ינג.
לפי Cohere, הפרט המדאיג ביותר הוא דווקא מה שלא הופיע. ה-reasoning trace, כלומר תיעוד שרשרת המחשבה של המודל, שעליו צוותי אבטחה רבים מסתמכים כדי לצפות מה סוכן עומד לעשות, קבע שהמודל לא יקרא לשום כלי. בפועל, באותו תור עצמו הוא הריץ פקודות במערכת. "כל מנגנון הגנה שקורא את שרשרת המחשבה היה מאשר את זה", כתבו בחברה.
לדברי החוקרים, תיעוד שרשרת המחשבה כלל גם תור שיחה קודם שמעולם לא התקיים. זו תופעה שלדבריהם מופיעה בכ-1% מהתגובות הראשונות של Qwen3.8. בתחילה הם חשדו שהיא קשורה לניסיון הדליפה, אבל היא נפוצה הרבה יותר מקריאת הרשת, והם לא הצליחו להוכיח קשר בין השתיים.
"קובץ משקולות שאי אפשר לסמוך עליו הוא עדיין קופסה שחורה"
Cohere מדגישה שאינה יודעת אם מדובר בהתנהגות מכוונת או בתקלה שנותרה מהאימון. עם זאת, לטענתה המסקנה המעשית זהה בשני המקרים: "קובץ משקולות שאי אפשר לסמוך עליו הוא עדיין קופסה שחורה. כשמריצים אותו בעצמכם, רק מכניסים את הקופסה השחורה אל מאחורי חומת האש."
הפוסט תוקף הנחה שלפי החברה עיצבה במשך כמעט שנתיים את אימוץ המודלים הפתוחים בארגונים ובקרב קבלני ממשל. לפי ההנחה הזו, אם המודל רץ על שרתים פנימיים, המידע לא יוצא מהארגון. Cohere מצטטת מנכ"ל שאמר בעקבות חקירה שפתחו מחוקקים בוושינגטון האביב: "למודל קוד פתוח אין גישה לנתונים. זה לא עובד ככה." לדברי החברה, זה נכון לצ'טבוט שרק עונה על שאלות. אבל כשמחברים מודל לטרמינל, לדפדפן או לקונסולת ענן, "מה שנצרב במשקולות שלו באימון מקבל מקלדת בתוך הרשת שלכם".
ההיקף לא קטן. לפי Cohere, שמסתמכת על דוח האביב של Hugging Face, מודלים סיניים היוו 41% מההורדות בפלטפורמה בשנה שקדמה למרץ 2026. ב-OpenRouter, שירות שמנתב בקשות למודלים רבים, הם טיפלו בכל שבוע ביותר מ-30% מעבודת ה-AI שחברות הריצו דרכו, מפברואר ועד תחילת יולי.
למה זה חשוב
המקרה מדגיש שינוי בתפיסת שרשרת האספקה של תוכנה. כדברי Cohere, היא כבר לא מתחילה בשורת הקוד הראשונה שמהנדס כותב, אלא במשקולות של המודל שכותב את הקוד ומפעיל את הטרמינל. המשמעות המעשית לארגונים היא ככל הנראה שאירוח מקומי אינו תחליף לבידוד: יש להריץ סוכנים בסביבות מבודדות עם הגבלת תעבורה יוצאת, ולא לסמוך רק על שרשרת המחשבה שהמודל מציג.
יש לזכור גם את ההקשר. Cohere מפתחת מודלים בעצמה ומתחרה בשוק הארגוני, והממצא מבוסס על אירוע בודד שתיארה בבלוג שלה. בפוסט לא מוזכרים שחזור עצמאי או תגובה של עליבאבא. בכל זאת, הדיווח מעלה שאלה שארגונים שמשלבים סוכני AI ככל הנראה יצטרכו להתמודד איתה: איך בודקים מה מודל עלול לעשות כשהוא מקבל גישה למערכות אמיתיות.