מודלים מקומיים מתקרבים למודלים ענניים באיתור פרצות אבטחה — לפי דיווח עצמי של מפתח הכלי

פוסט שפורסם לאחרונה בפורום r/LocalLLaMA מעלה מחדש דיון על אחד השימושים הנחשבים למבטיחים עבור מודלי AI מקומיים: איתור פגיעויות אבטחה בקוד. הכותב, שמפנה לפרויקט הקוד הפתוח CYPHES, טוען שבמהלך שבועיים הריץ 1,665 הרצות מודל מול 27 מאגרי קוד פומביים ב-GitHub ואיתר 1,067 ממצאי אבטחה, ומציין שהנתונים המלאים (קובץ audit.db) זמינים במאגר הפרויקט לבדיקה עצמאית. חשוב להדגיש: מדובר בנתונים שפורסמו על ידי מי שמפתח את הכלי עצמו, ולא באימות חיצוני עצמאי — בחומרים שנבדקו לכתבה זו לא נמצא פירוט של הממצאים או מתודולוגיית המדידה מעבר לטענה עצמה.

CYPHES מתואר במאגר הפרויקט כ"שכבת תיאום לעובדי סייבר אוטונומיים": צמתי AI מקומיים מבצעים עבודת אבטחה מוגדרת-היקף, וצמתי "מוודא" (verifier) עצמאיים מאשררים קבלות חתומות הקרויות Cognition Proof, שהופכות ליחידת חשבון בתוך מה שהפרויקט מכנה "פנקס עבודה מאומת". בפועל, מדובר במערכת שמתגמלת סריקת קוד אוטומטית על ידי מודלים שונים ומנסה לדרג את התרומה של כל מודל.

היסטוריית הגרסאות של הפרויקט חושפת פרטים שרלוונטיים דווקא לשאלת המהימנות של השוואת "מקומי מול ענן". בהודעת הגרסה v0.17.2 מצוין כי המפתחים תיקנו "פגם בניקוד המודלים" שאיפשר נתיב ל"ניפוח ציונים": מודלים מסוג GLM, למשל, סווגו בעבר בטעות תחת הרף הנמוך ביותר של 0.9x — זהה לזה שמוענק למודל מקומי קטן בגודל 3B פרמטרים — ואילו כפל התגמול הגבוה השמור למודלים פרונטיר הותנה מאז במדידת תפוקה בפועל, כדי למנוע מצב שבו מודל קטן "מתחזה" למודל יוקרתי לצורך תגמול גבוה יותר. אותה הודעת גרסה מציינת גם הוספת מארז השוואה קבוע של 19 מאגרים, המיועד להפוך את ההשוואה בין מודלים לניתנת לשחזור, לעומת המצב הקודם.

פרט נוסף, מתוך הודעת הגרסה v0.17.1, מעמעם את תמונת ה"שוויון" בין הקטגוריות: למודלים המורצים דרך שירותי ענן מוקצה חלון הקשר גדול משמעותית מזה שמוקצה למודלים מקומיים — עד 48 קבצים או 700KB, לעומת עד 16 קבצים או 180KB בלבד למודל מקומי. כלומר, גם בתוך הכלי עצמו מודלים מקומיים פועלים תחת מגבלת מידע מצומצמת יותר מעמיתיהם הענניים, מה שמקשה על השוואה של "יעילות דומה" במובן הטהור.

בנוסף, גרסה v0.17.3 הוסיפה לראשונה אפשרות להרצת צומת ללא ממשק גרפי (headless) — מסלול המיועד לשרתים ול-WSL2 — יחד עם מנגנון לוגים בסיסי שלא היה קיים בגרסאות קודמות.

המשמעות: התמונה שעולה מחומרי הפרויקט מורכבת יותר מהכותרת שמציג הפוסט. מצד אחד, ככל הנראה מדובר בניסיון רציני ליצור מתודולוגיה עקבית להשוואת מודלים, וההיסטוריה מלמדת שהמפתחים עצמם זיהו ותיקנו עיוותי ניקוד קודמים. מצד שני, פערי חלון ההקשר בין מודלים ענניים למקומיים בתוך הכלי, לצד העובדה שהנתונים הכמותיים המרכזיים מגיעים מדיווח עצמי של מפתח הכלי ולא מגורם חיצוני, מצדיקים זהירות לפני קבלת הטענה שהפער בין מודלים פתוחים לסגורים בתחום אבטחת הסייבר "נסגר". מדובר בכיוון שראוי למעקב, אך לא בממצא שאומת באופן בלתי תלוי.