Liquid AI משחררת את LFM2.5-24B-A2B בפורמט GGUF: מודל של 24 מיליארד פרמטרים שמיועד להרצה מקומית

חברת Liquid AI פרסמה ב-Hugging Face מאגר של קובצי GGUF למודל LFM2.5-24B-A2B. לפי כרטיס המודל מדובר במודל בן 24 מיליארד פרמטרים בארכיטקטורה שמסומנת lfm2moe. הוא שייך למשפחת LFM2, שהחברה מתארת כ"דור חדש של מודלים היברידיים" שתוכננו במיוחד ל-edge AI, כלומר להרצה על המכשיר עצמו ולא בשרתי ענן.

GGUF הוא פורמט הקבצים שמשמש את llama.cpp, הכלי הפופולרי להרצת מודלי שפה על מחשבים אישיים. מכאן שהשחרור מכוון בעיקר למפתחים ולחובבים שרוצים להריץ את המודל אצלם, בלי לעבור דרך API של ספק חיצוני.

מה יש במאגר

המאגר כולל כמה רמות של quantization, כלומר דחיסה של משקלי המודל לדיוק מספרי נמוך יותר כדי להקטין את גודל הקובץ ואת צריכת הזיכרון. לפי עמוד המודל, אלה הגדלים:

• 4-bit: ‏Q4_0 שוקל 13.6GB, ו-Q4_K_M שוקל 14.5GB
• 5-bit: ‏Q5_K_M שוקל 17GB
• 6-bit: ‏Q6_K שוקל 19.7GB
• 8-bit: ‏Q8_0 שוקל 25.5GB
• 16-bit: ‏BF16 ו-F16 שוקלים 48GB כל אחד

ההבדל משמעותי: הגרסה המלאה דורשת 48GB, והגרסאות הדחוסות ביותר יורדות לפחות משליש מזה. ככל הנראה זה מה שמקרב את המודל לטווח של מחשבים ביתיים חזקים.

דחיסה שאומנה לשמור על הדיוק

הפרט הטכני המעניין ביותר הוא גרסת ה-Q4_0. לפי החברה, זה לא קובץ שנדחס בדיעבד אלא checkpoint של Quantization-Aware Distillation (QAD) בשם LFM2.5-24B-A2B-QAD-Q4_0.gguf, ש"אומן כדי להחזיר את הדיוק שאבד בדחיסה ל-Q4_0". בדרך כלל דחיסה ל-4 ביט פוגעת במידה מסוימת באיכות התשובות. גישה כזו מנסה ללמד את המודל לפצות על הפגיעה הזו. בכרטיס המודל אין נתונים מספריים על גודל השיפור, ולכן קשה להעריך בשלב זה כמה הוא משמעותי בפועל.

החברה מפרסמת גם פקודת הרצה מוכנה ל-llama.cpp ופרמטרי דגימה מומלצים: temperature של 0.1, ‏top-k של 50 ו-repeat-penalty של 1.05. הפרמטרים האלה נשמרים גם כ-metadata בתוך כל קובץ GGUF, כך ש-llama.cpp מחיל אותם אוטומטית. בפועל זה חוסך למשתמשים את הצורך לנחש הגדרות.

מה מסתתר מאחורי השם

לפי "עץ המודלים" ב-Hugging Face, הגרסה הזו מבוססת על מודל הבסיס LFM2.5-24B-A2B-Base ועל גרסת ה-fine-tune שנבנתה ממנו, LFM2.5-24B-A2B. ב-Hugging Face כבר רשומות עשר גרסאות דחוסות של המודל.

הסיומת A2B מרמזת, לפי מוסכמת שמות נפוצה בתחום, על כ-2 מיליארד פרמטרים פעילים בכל שלב חישוב. זה אופייני לארכיטקטורת Mixture of Experts ‏(MoE), שבה רק חלק מהרשת מופעל בכל פעם. ציטוט שהופץ ברשת מתאר את המודל כ"מודל חשיבה (reasoning) בן 24 מיליארד פרמטרים עם 2 מיליארד בלבד" פעילים. עמוד ה-GGUF עצמו לא מפרט את מספר הפרמטרים הפעילים ולא מגדיר את המודל כמודל חשיבה, ולכן בשלב זה יש להתייחס לפרטים האלה כלא מאומתים.

למה זה חשוב

אם ההגדרה של כ-2 מיליארד פרמטרים פעילים מדויקת, המשמעות היא ככל הנראה מודל שתופס זיכרון של מודל גדול אבל רץ במהירות שקרובה לזו של מודל קטן. זה השילוב שמחפשים מי שמריצים מודלים מקומית. הדחיסה ל-13.6GB ו-checkpoint ה-QAD מצביעים על כך ש-Liquid AI מכוונת בבירור לחומרה צרכנית ולא לחוות שרתים. מה שעדיין חסר הוא מדדי ביצועים (benchmarks) עצמאיים, שיראו אם המודל עומד בהבטחה.