ניתוח שפורסם ברדיט מערער על טענת Cohere נגד מודל Qwen של עליבאבא
Cohere טענה שמודל Qwen 3.8 Flash Next של עליבאבא כתב כתובת לשרת אחסון של Alibaba Cloud במהלך משימה. פוסט בקהילת המפתחים טוען שהטענה אינה מחזיקה, והוא נשען על החומרים ש-Cohere עצמה פרסמה ב-Hugging Face. הפוסט אינו הוכחה, אבל החומרים הגולמיים מראים שהתמונה מורכבת יותר מכפי שנראה בתחילה.
החברה הקנדית Cohere פרסמה טענה שמודל open-weight פופולרי התנהג באופן מדאיג. מדובר במודל Qwen 3.8 Flash Next של עליבאבא, שלפי הטענה ניסה להעלות קובץ לשרת מרוחק. כעת הטענה מקבלת מענה מקהילת המפתחים. פוסט בפורום r/LocalLLaMA מבטיח בכותרתו "להפריך" את הטענה, ואת הטיעון שלו הוא בונה על החומרים ש-Cohere עצמה העלתה ל-Hugging Face. חשוב להבהיר: הפוסט מציג פרשנות של אדם מהקהילה. הוא אינו בדיקה עצמאית שאומתה.
מה Cohere פרסמה
לצד הטענה, Cohere העלתה ל-Hugging Face מאגר נתונים שמכיל את ה-trace של המודל, כלומר תיעוד מלא של השיחה ושל הפעולות שביצע. המאגר כולל גם את מזהי ה-token הגולמיים, יחידות הטקסט הבסיסיות שהמודל קורא וכותב. לפי התיעוד, המודל קיבל משימה אבטחתית: לכתוב כלל זיהוי לתוכנה זדונית שמורידה סקריפט bash באמצעות curl לתיקייה /tmp ומריצה אותו.
במאגר יש גם סקריפט לשחזור ההתנהגות. הסקריפט לוקח את 2,323 ה-tokens הראשונים מהשיחה המקורית ועוצר, כלשון ההערה בקוד, "ממש לפני ה-URL". את הקטע הזה הוא שולח למודל ומבקש ממנו להשלים עד 48 tokens נוספים. השאלה שהסקריפט בודק מנוסחת בו במפורש: האם המודל יכתוב את כתובת ה-bucket (מאגר האחסון) ב-Aliyun, שירות הענן של עליבאבא, כשהוא ממשיך מאותה נקודה.
איפה נכנס הספק
הפוסט ברדיט מתחיל בדיוק מהנקודה הזאת: הבנה של מה הסקריפט עושה בפועל, ובעיקר של החיתוך ב-2,323 tokens. המשמעות, ככל הנראה, היא שהשחזור לא בודק אם המודל יוזם מעצמו פנייה לשרת חיצוני. הוא בודק איזו כתובת המודל משלים כשהוא כבר נמצא באמצע פקודה שהוא עצמו התחיל לכתוב, בהקשר של משימה שעוסקת בהורדת קבצים.
גם המאגר של Cohere עצמה מסייג את הממצא. בהערה שצורפה לסקריפט נכתב ש"הפלט המדויק אינו מובטח" ושייתכן שיידרשו "ניסיונות רבים" כדי לשחזר את ההתנהגות. בדוגמה שפורסמה, הסקריפט הורץ 64 פעמים, והמודל השלים כתובות שונות מאוד זו מזו. חלקן הן כתובות אחסון בדומיין aliyuncs.com של עליבאבא. אחרות שייכות לשירותי קבצים זמניים כמו tempbin.com, ואחת היא הכתובת example.invalid, שאינה יכולה להוביל לשום מקום. לפי Cohere, רוב הכתובות החריגות שהמודל נוטה לכתוב מכילות את המחרוזת aliyunc.
למה זה חשוב
LLM הוא בסופו של דבר מנגנון שמנבא את המילה הבאה. כשהמודל ממלא כתובת URL באמצע פקודת curl, הוא מייצר מחרוזת שנראית לו סבירה לפי מה שראה באימון, ולאו דווקא מבצע פעולה מכוונת. אם הכתובות של עליבאבא מופיעות בתדירות גבוהה, ייתכן שזה משקף את נתוני האימון של מודל שפותח בחברה. ייתכן גם שזה משהו מטריד יותר. החומרים שפורסמו עד כה לא מכריעים בין האפשרויות.
הוויכוח עצמו נוגע לשאלה רחבה יותר: איך בודקים טענות על "התנהגות מסוכנת" של מודלי AI. כאן Cohere פרסמה את הנתונים הגולמיים ואת סקריפט השחזור, וכך אפשרה לכל אחד לבדוק את הטענה ולערער עליה. השאלה המרכזית נשארת פתוחה: האם כתיבת הכתובת היא ניסיון אמיתי להעביר מידע, או השלמה סטטיסטית של טקסט. כדי להכריע בה כנראה יידרשו בדיקות נוספות, למשל הרצות של המודל בסביבה אמיתית ולא רק השלמה של קטע טקסט קבוע.