Liquid AI משיקה את LFM3: שישה מודלים קטנים לטקסט, ראייה, אודיו ו-omni שמיועדים לרוץ על המכשיר

חברת Liquid AI השיקה את LFM3, הדור החדש של מודלי היסוד שלה (Liquid Foundation Models). המשפחה כוללת שישה מודלים לטקסט, לראייה, לאודיו, למודל omni ולמודלי "החלטה" (decision models), וכולם בסדר גודל של כ-2 מיליארד פרמטרים. לפי הפוסט הרשמי של החברה ב-Hugging Face, שפורסם ב-27 באוקטובר 2026, כל המודלים פותחו מאותו מודל בסיס, LFM3-1.7B-Base. הרעיון הוא שמפתחים יבחרו את המודל שמתאים לסוג הקלט שלהם, יבצעו לו fine-tuning (התאמה נוספת על נתונים משלהם) על כרטיס GPU יחיד, ויריצו אותו ישירות על המכשיר.

מה יש במשפחה

בהודעה של החברה מתוארים מודל טקסט, מודל שפה-וראייה שמקבל עכשיו גם קלט וידאו, מודל אודיו, ומודל omni ראשון שמשלב ראייה, אודיו ושפה במודל אחד. לצדם יש מודלי החלטה. בשרשור שהפנה להשקה נמסרו פרטים נוספים, למשל שמודל האודיו תומך בשיחה קולית ב-18 שפות ושמודל הראייה מתחרה במודלים גדולים ממנו פי כמה. הפרטים האלה לא מופיעים בקטע ההודעה הרשמית שעמד לרשותנו, ולכן יש להתייחס אליהם כלא-מאומתים.

מודל הטקסט, LFM3-1.7B, הוא לב ההשקה. לפי Liquid AI הוא תופס כ-1GB בדחיסה (quantization) לדיוק של 4 ביט. חלון ההקשר שלו, כלומר כמות הטקסט שהמודל יכול להחזיק בבת אחת, הוא 256 אלף טוקנים. לדברי החברה זה מאפשר להריץ סוכנים (agents) על המכשיר עצמו. Liquid AI גם טוענת שהמודל עוקף את LFM2.5-2.6B, הדור הקודם שלה, למרות שיש לו 35% פחות פרמטרים.

מה השתנה מתחת למכסה המנוע

בדור הקודם, LFM2, החברה שילבה קונבולוציות קצרות עם מנגנון attention. ב-LFM3 היא עברה לארכיטקטורה שהיא מכנה "tri-hybrid". המודל בנוי מ-24 שכבות:

• 13 שכבות של קונבולוציות קצרות עם gating
• 5 שכבות sliding-window attention עם חלון של 256 טוקנים
• 6 שכבות של attention גלובלי

לפי החברה, הארכיטקטורה תוכננה בחיפוש אוטומטי שמודד ביצועים ישירות על חומרה אמיתית. החיפוש כיסה 14 צירופים של מכשירים וסביבות הרצה, מטלפונים ו-Raspberry Pi 5 ועד מחשבים ניידים, מעבדי ענן, GPU ומעבד ה-NPU מסוג Hexagon של Qualcomm. עוד נוסף מנגנון שמאפשר לכל "ראש" attention לכבות את עצמו כשאין לו מה לתרום. לדברי החברה, המנגנון הזה עשוי לצמצם ערכים חריגים שפוגעים בדחיסה.

השיפור שהחברה מדגישה נוגע להקשרים ארוכים. לפי נתוניה, ביחס למספר הפרמטרים LFM3-1.7B מהיר כמו LFM2-1.2B בפרומפטים קצרים, וכשיש 8,000 טוקנים בהקשר הוא מהיר בכ-25%. מודל הבסיס אומן על 22 טריליון טוקנים. 3.5 הטריליון האחרונים היו שלב mid-training (אימון ביניים) על נתונים נבחרים, עם שיעור גבוה יותר של תיעוד פעולות של סוכנים וקריאות לכלים.

למה זה חשוב

המגמה שבולטת כאן היא העדפה של מודלים קטנים ומתמחים על פני מודל כללי אחד גדול. ככל הנראה ההימור של Liquid AI הוא שחברות ירצו להריץ בינה מלאכותית על טלפונים, מחשבים ומכשירי קצה, בלי לשלוח נתונים לענן ובלי לשלם על כל קריאה. מודל שתופס כ-1GB ואפשר לאמן אותו על GPU יחיד מוריד את סף הכניסה לצוותים קטנים.

עם זאת, כל נתוני הביצועים וההשוואות שמופיעים בהשקה הם של החברה עצמה. רק מבחנים עצמאיים יראו אם LFM3 עומד בהבטחות האלה בשימוש אמיתי.