מודל של 1.5 מיליארד פרמטרים שכותב פקודות Bash: מה הוא מוכיח על מודלים קטנים, ומה לא
EasyCommand 1.5B הוא מודל open source שמבוסס על Qwen2.5-Coder-1.5B של עליבאבא. הוא הופך בקשות באנגלית לפקודות Bash, תופס פחות מגיגה-בייט ופתר נכון 212 מתוך 300 משימות במבחן ALFA-updated. אפשר לראות בו דוגמה טובה לכוחם של מודלים קטנים ומתמחים. עם זאת, המפתחים עצמם מזהירים שהתוצאות אינן ניתנות להשוואה ישירה למודלים המסחריים הגדולים.
מודל שפה שלם, בגודל של פחות מגיגה-בייט אחד, יודע להפוך בקשה באנגלית כמו "מצא את כל הקבצים שהשתנו השבוע" לפקודת Bash מוכנה להרצה. זה מה ש-EasyCommand 1.5B עושה. המודל פורסם כ-open source באתר Hugging Face, ובמבחן שהמפתחים הריצו בעצמם הוא פתר נכון 212 מתוך 300 משימות (70.67%).
מה בדיוק שוחרר
לפי כרטיס המודל, EasyCommand נבנה על בסיס Qwen2.5-Coder-1.5B-Instruct, מודל קוד קטן של עליבאבא, ואומן להחזיר פקודות GNU/Linux Bash בפורמט JSON קבוע. הוא מופץ בפורמט GGUF, שמיועד להרצה מקומית על מחשב רגיל. בגרסה הדחוסה (Q4_K_M) הוא תופס 940.4 MiB, והקובץ כולל את כל מה שצריך כדי להריץ אותו. אין צורך להוריד משקלים נוספים או מתאם (adapter).
במבחן ALFA-updated, גרסה מתוקנת של מבחן ALFA לתרגום שפה טבעית לפקודות טרמינל, השיג EasyCommand תוצאה של 212/300. מודל קהילתי מתחרה בגודל זהה, whatisit / nl2sh-1.5b, השיג 191/300 (63.67%). הגרסה הקטנה יותר של EasyCommand, בגודל 0.6 מיליארד פרמטרים, הגיעה ל-55% עד 58%, תלוי ברמת הדחיסה. במבחן הפנימי של המפתחים, שכולל 1,320 משימות, הפער גדול הרבה יותר: 1,119 תשובות נכונות ל-EasyCommand לעומת 82 למודל המתחרה. כדאי לזכור שמדובר במבחן פנימי שהמפתחים של EasyCommand בנו והריצו בעצמם.
ומה עם GPT-4o?
בפוסט שבו הציג את הפרויקט ב-r/LocalLLaMA, המפתח מתאר אותו כמודל שמגיע "לרמת GPT-4o". כרטיס המודל זהיר יותר. הוא אמנם מציין ש-GPT-4o השיג 73% במבחן ALFA המקורי, לפי נתון שמופיע במאמר המחקרי, אבל מדגיש שמדובר בפרוטוקול מדידה אחר ושהתוצאות "אינן ניתנות להשוואה ישירה". המפתחים גם מבהירים שההשוואה מול whatisit נעשתה בין מודלים בתצורת ההפעלה שלהם, ולא בתנאים זהים. לדבריהם, ההבדלים מול גרסאות קודמות של EasyCommand עצמו "צנועים" ואינם מבססים שיפור מובהק סטטיסטית.
נתון אחד מהכרטיס כן ממחיש את כוחו של אימון ממוקד. לפי תוצאות שפרסם whatisit, אותו מודל בסיס בגודל 1.5 מיליארד פרמטרים, לפני כל אימון נוסף, השיג 54% במבחן ALFA המקורי. מודל Qwen גדול פי חמישה בערך, בגודל 4.4GB, השיג 61.3%. נראה שאימון ממוקד במשימה אחת משפר את הביצועים יותר מאשר הגדלת המודל, אם כי גם כאן מדובר בהשוואה בין מדידות שנעשו בנפרד.
הקהילה דוחפת לכיוון המקומי
EasyCommand הוא חלק ממגמה רחבה יותר. באותו פורום פורסמו בימים האחרונים כמה דיווחים שלא אומתו באופן עצמאי. אחד מהם מתאר עוזר קולי מקומי לחלוטין שרץ על כרטיס מסך יחיד מסוג RTX 4090. אחר מתאר מודל החלטות זעיר של 10 מיליון פרמטרים, כ-6MB בלבד. משתמש נוסף מדווח על הרצת מודל של 125 מיליארד פרמטרים על מיני-PC יחיד. המשותף לכולם הוא הניסיון להוציא עבודת AI שימושית מהענן ולהעביר אותה לחומרה ביתית.
למה זה חשוב
לשאלה בכותרת אין תשובה חד-משמעית. מודל קטן ומתמחה כמו EasyCommand לא מחליף מודל כללי כמו GPT-4o, וגם המפתחים שלו לא טוענים זאת בכרטיס הרשמי. ההשלכה המעשית היא כנראה אחרת: במשימה מוגדרת וצרה, מודל שרץ על מחשב נייד, בלי חיבור לאינטרנט, בלי עלות לכל שאילתה ובלי לשלוח פקודות של המשתמש לשרת חיצוני, מספיק כנראה לרוב המקרים. ייתכן שזה יתברר כיתרון החשוב ביותר של מודלים קטנים. הם לא מנצחים את הענקיות בכל תחום, אבל במשימות מסוימות הם מספיקים.