OVH הכריזה על Olala mini 7A1B, מודל פתוח של 7 מיליארד פרמטרים שרץ על GPU עם 8GB
חברת הענן הצרפתית OVH הכריזה על Olala mini 7A1B, מודל השפה הראשון שלה: 7 מיליארד פרמטרים שרק מיליארד מהם פעילים בכל בקשה, כך שהוא רץ על GPU עם 8GB זיכרון ואפילו על מעבד רגיל. המודל יופץ ב-Hugging Face ברישיון Apache 2.0, שמתיר שימוש מסחרי, ומנוע החיפוש Qwant כבר משתמש בו ומדווח על עלויות תפעול נמוכות פי שלושה.
חברת הענן הצרפתית OVH הכריזה על Olala mini 7A1B, המודל הראשון במשפחת מודלי השפה (LLM) הראשונה שלה: מודל קומפקטי של 7 מיליארד פרמטרים, שרק מיליארד מהם פעילים בכל בקשה. ההשקה הרשמית תתקיים ב-19 בנובמבר בכנס OVHcloud AI Summit, כך דווח ב-MarketScreener.
מה פירוש 7A1B
השם מתאר את המבנה: 7 מיליארד פרמטרים בסך הכול, מיליארד פעילים. הפרמטרים מחולקים ל-256 "מומחים" בכל שכבה, כלומר תת-רשתות קטנות שרק חלק מהן מופעל בכל בקשה. לפי הדיווח, זו הסיבה שהמודל מהיר יותר וצורך פחות זיכרון ממודל בגודל דומה שמפעיל את כל הפרמטרים שלו. מנגנון ה-attention היברידי ומשלב שתי שיטות, Differential-TPA ו-Mamba-3, והמשקלים מופצים בפורמט BF16.
המספרים ש-OVH מציגה:
- חומרה נדרשת: GPU עם 8GB זיכרון לפחות.
- מהירות: 160 tokens בשנייה על כרטיס RTX A4500, ו-50 tokens בשנייה על מעבד רגיל בלי GPU.
- חלון הקשר: 32 אלף tokens כרגע.
- רישיון: קוד פתוח ברישיון Apache 2.0, עם הפצה ב-Hugging Face.
הנתונים האלה מגיעים מהחברה עצמה. הדיווח אינו כולל תוצאות במבחני ביצועים מקובלים או השוואה למודלים קטנים מתחרים, כך שאת איכות התשובות אי אפשר להעריך בשלב הזה. מהירות היא רק חצי מהתמונה, וכדאי לחכות לבדיקות עצמאיות אחרי שהמשקלים יתפרסמו.
אימון על מחשבי-על אירופיים, ולקוח ראשון
Olala mini אומן על שלושה מחשבי-על ציבוריים באירופה: Jupiter, MeluXina ו-Jean Zay, שמצוידים במעבדים גרפיים מדגמי GH200, A100 ו-H100 של אנבידיה. הבחירה בתשתית ציבורית אירופית משתלבת, ככל הנראה, במסר ש-OVH מנסה להעביר ללקוחותיה: מודל שפותח, אומן ומתארח באירופה.
למודל יש כבר משתמש אחד בייצור. מנוע החיפוש הצרפתי Qwant אימץ אותו לתכונת התשובות המהירות שלו (flash response), ולפי הדיווח התשובות מהירות ב-20% ועלויות התפעול ירדו פי שלושה לעומת המודל ששימש אותו קודם. הדיווח אינו מציין איזה מודל הוחלף.
מה בהמשך
גרסה 1.1, שצפויה עד סוף השנה, תגדיל את חלון ההקשר ל-128 אלף tokens. בגרסה 2.0 מתכננת OVH מודלים ייעודיים ל-AI סוכני (agentic) לעסקים, ל-DevOps בענן ולאבטחת סייבר. לגרסה הזאת לא נמסר תאריך.
OVH נכנסת לתחום שבו כבר פועלים מודלים פתוחים קטנים רבים, והמודל שלה אינו מתיימר להתחרות במודלים הגדולים של המעבדות המובילות. המשמעות היא שההכרזה חשובה בעיקר ללקוחות ענן אירופיים, ובמיוחד לארגונים שמחפשים מודל זול להרצה לצד התשתית שהם כבר שוכרים מ-OVH. פרטים נוספים על תוכניות הענן וה-AI של החברה צפויים בכנס ב-19 בנובמבר.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות