Edge0 שחררה בקוד פתוח מודל של 145 מיליארד פרמטרים שרץ לדבריה על מחשב נייד עם 29GB זיכרון

חברת Edge0 שחררה בקוד פתוח את Edge0-145B, מודל שפה של 145 מיליארד פרמטרים שלדבריה רץ כולו על מחשב נייד, עם שיא זיכרון של 29GB ומהירות של יותר מ-80 טוקנים בשנייה. לצדו שוחררו מודל קטן יותר, Edge0-120B, מנוע ההרצה (inference) של החברה וכלי פריסה. בהודעת ההשקה החברה מתארת אותו כמודל הפתוח הראשון בעולם בגודל הזה שמיועד לרוץ על המכשיר עצמו ולא בענן.

המספרים שהחברה מדווחת

כל הנתונים הבאים הם מדידות של Edge0 עצמה, על מה שהיא מגדירה "מחשב נייד תואם, כמו MacBook Pro":

• זיכרון: שיא של 29GB. במקום אחר באותה הודעה מופיע הנתון 28GB.
• עיבוד הקלט (prefill): יותר מ-1,100 טוקנים בשנייה. לדברי החברה זה מספיק כדי לקרוא עשרות עמודי קוד לפני שהמודל מתחיל לענות.
• יצירת הפלט (decode): יותר מ-80 טוקנים בשנייה, מהר יותר מקצב הקריאה של אדם.
• צריכת חשמל: כ-120 ואט בשימוש טיפוסי.
• חלון הקשר: 128 אלף עד 256 אלף טוקנים, במהירות שנשארת לדברי החברה כמעט זהה גם בקלטים ארוכים.

חישוב פשוט ממחיש כמה הטענה חריגה: 145 מיליארד פרמטרים ב-29GB הם כ-1.6 ביט לפרמטר בממוצע, אם כל המשקלים אכן נטענים לזיכרון. מודלים נשמרים בדרך כלל ב-16 ביט לפרמטר. Edge0 עצמה כותבת שגם מודל של 35 מיליארד פרמטרים שנדחס באגרסיביות עשוי לדרוש כ-20GB. לדבריה, היא הגיעה לתוצאה משום שתכננה את המודל ואת מנוע ההרצה יחד, בארבע שכבות, כדי לצמצם את הזיכרון ואת תנועת הנתונים.

מה המודל אמור לעשות

Edge0 טוענת שתוצאות המודל בכתיבת קוד, בהסקה ובמילוי הוראות מתחרות במודלי ענן מובילים מסוימים. היא מציגה אותו כסוכן שמסיים משימות: מתכנן, כותב ומריץ קוד, מתקן שגיאות ובודק את התוצאה חזותית, בפרויקטים כמו סצנות תלת-ממד, משחקים, תוכנה לחומרה ותכנון מעגלים מודפסים (PCB).

הטיעון הכלכלי פשוט: הרצה מקומית לא כרוכה בתשלום על טוקנים או על API, המידע נשאר על המחשב, והיכולות המרכזיות עובדות גם בלי חיבור לרשת. החברה מסייגת בעצמה שחומרה וחשמל עדיין עולים כסף.

הרקע

לפי Edge0, עד ספטמבר 2026 רוב המודלים שרצו על המכשיר היו קטנים מ-10 מיליארד פרמטרים. המודל המקומי של Apple Intelligence כלל כ-3 מיליארד פרמטרים, ו-Gemini Nano של גוגל הגיע בגרסאות של 1.8 ו-3.25 מיליארד. ההשקה הקודמת של החברה הייתה Edge0-35B לטלפונים, שלפי הדיווח שלה מפיק יותר מ-37 טוקנים בשנייה על iPhone 18 Pro Max עם כ-2.5GB זיכרון. המודל החדש גדול ממנו בערך פי ארבעה.

מה עדיין לא ידוע

ההשוואות למודלי הענן והמדידות על המחשב הנייד מגיעות כולן מהחברה, ובחומרים שנבדקו לכתבה זו אין אימות חיצוני שלהן. Edge0 אומרת שפרסמה את המשקלים, את מנוע ההרצה ואת אפליקציית Edge0 App כדי שמפתחים יוכלו לשחזר את התוצאות, להעריך את המודלים ולכוונן אותם (fine-tuning). ככל הנראה, המבחן האמיתי יהיה בשאלה אם מפתחים עצמאיים ישחזרו את המהירות ואת צריכת הזיכרון, ובעיקר אם איכות התשובות נשמרת אחרי דחיסה כזאת.