Nace AI משחררת בקוד פתוח את Drex Max v1: מודל החלטות בגודל 27B שרץ מקומית על מחשבי Mac

חברת Nace AI הודיעה על שחרור Drex Max v1 בקוד פתוח. לפי הדיווח ב-MarkTechPost, זהו מודל multimodal (מודל שמעבד יותר מסוג אחד של קלט) בגודל 27B, כלומר 27 מיליארד פרמטרים. החברה מגדירה אותו כ"מודל החלטות", והוא יכול לרוץ מקומית על מחשבים עם שבבי Apple Silicon. עוד נמסר שהמודל השיג ציון של 67.52.

מה ידוע ומה עדיין לא

ההודעה עצמה קצרה. היא כוללת את שם המודל, את גודלו, את היותו multimodal, את הציון ואת התמיכה בהרצה מקומית על Apple Silicon. פרטים חשובים אחרים לא מופיעים בחומר שפורסם.

הציון 67.52 מגיע בלי מדד. בחומר שפורסם לא נאמר באיזה benchmark (מבחן השוואתי סטנדרטי) נמדד הציון, מול אילו מודלים הוא הושווה ובאילו תנאים. בלי המידע הזה המספר לא מאפשר להסיק הרבה. 67.52 יכול להיות תוצאה גבוהה במדד קשה במיוחד, או תוצאה בינונית במדד שמודלים אחרים כבר עוברים בקלות. לכן כדאי להתייחס לציון כטענה של החברה עד שיתפרסמו פרטי המדידה ועד שיבדקו אותה גורמים חיצוניים.

גם המונח "מודל החלטות" לא מוסבר. החומר לא מפרט לאילו סוגי החלטות המודל מיועד ואיך הוא שונה ממודל שפה כללי. ככל הנראה הכוונה למודל שמותאם למשימות של בחירה, הערכה או תכנון ולא לשיחה חופשית, אבל זו הערכה בלבד.

למה ההרצה המקומית חשובה

רוב השימוש במודלי AI גדולים נעשה היום דרך שירותי ענן. המשתמש שולח את המידע שלו לשרתים של ספקית המודל ומשלם לפי שימוש. מודל שרץ על המחשב של המשתמש עוקף את ההסדר הזה, ויש לכך כמה יתרונות מוכרים:

• פרטיות: המידע לא יוצא מהמחשב. זה חשוב במיוחד לארגונים שעובדים עם מסמכים רגישים.
• עלות: אחרי ההתקנה אין חיוב לפי שימוש בשירות חיצוני.
• זמינות: המודל עובד גם בלי חיבור לאינטרנט.

מודל בגודל 27B נמצא בתחום שבו הרצה על מחשב אישי כבר אפשרית, אבל דורשת משאבים. שבבי Apple Silicon משתמשים בזיכרון מאוחד (unified memory) שהמעבד והמעבד הגרפי חולקים, ולכן מחשבי Mac עם הרבה זיכרון הפכו לפלטפורמה נפוצה להרצת מודלים פתוחים בגודל בינוני. ההודעה לא מפרטת כמה זיכרון נדרש להרצת Drex Max v1 או באילו דגמי Mac הוא נבדק.

המשמעות

שחרור המודל בקוד פתוח מצטרף למגמה רחבה של מודלים שמשתמשים יכולים להוריד, לבחון ולהריץ בעצמם, בלי לעבור דרך ספקית ענן. בפועל, הקוד הפתוח הוא גם מה שיאפשר לבדוק את טענות החברה: מפתחים וחוקרים יוכלו להריץ את המודל על מדדים מוכרים ולהשוות אותו למודלים פתוחים אחרים בגודל דומה.

עד שהבדיקות האלה יתפרסמו, מה שידוע בוודאות הוא ש-Nace AI שחררה מודל multimodal פתוח בגודל 27B שמיועד להרצה מקומית על Mac. כמה הוא טוב, ובמה בדיוק, עוד לא ברור.