Ricursive משחררת את Ripple-65B: מודל פתוח של 65 מיליארד פרמטרים שמתמודד, לפי החברה, עם מודלים גדולים ממנו עד פי 15

חברת Ricursive Intelligence פרסמה את Ripple-65B Preview, מודל שפה של 65 מיליארד פרמטרים עם משקולות פתוחות, תחת רישיון Apache 2.0. לפי הודעת החברה, המודל קיבל 80.52 במבחן Terminal-Bench 2.1, שבוחן עד כמה מודל מצליח לבצע משימות תכנות וניהול מערכת בסביבת שורת הפקודה. זהו, לטענתה, הציון הגבוה ביותר בקרב המודלים האמריקאיים הפתוחים. הציונים הם נתוני החברה, ובחומרים שפורסמו אין אימות עצמאי שלהם.

מה החברה טוענת

Ricursive מציגה השוואה למודלים אמריקאיים פתוחים גדולים בהרבה: Reflection Beam 501B קיבל 80.1, Meta Muse Spark Open 816B קיבל 76.4, Thinking Machines Inkling 975B קיבל 63.8, ו-Nemotron 3 Ultra 550B של אנבידיה קיבל 56.4. הפער מול Reflection Beam עומד על פחות מחצי נקודה, כך שהיתרון המשמעותי ביותר, אם יאושש, נוגע לגודל ולעלות יותר מאשר לציון עצמו.

שתי הסתייגויות חשובות לקריאת הנתונים. ראשית, הטענה מוגבלת במפורש למודלים פתוחים מארצות הברית, ולכן היא אינה קובעת שזה המודל הפתוח המוביל בעולם. שנית, החברה מציינת שמעבדות אחרות משתמשות בארכיטקטורת Mixture-of-Experts (MoE), שבה רק חלק מהפרמטרים פעיל בכל שלב. במודלים כאלה הגודל הכולל אינו משקף בהכרח את כמות החישוב בפועל, כך שההשוואה "פי 15" ככל הנראה מחמיאה יותר מהתמונה המלאה.

32 מיליון דולר, כולל הכול

לפי החברה, פיתוח המודל עלה 32 מיליון דולר. הסכום, היא מדגישה, כולל את כל עלות המחקר והפיתוח מאפס, ולא רק את ריצת האימון הסופית. לפי הערכתה, זו עשירית מעלות המודל שהוביל קודם בתחום. זו הערכה של Ricursive לגבי מתחרה, ולא נתון מדווח שלו.

החברה מייחסת את החיסכון לכמה החלטות. היא בחרה במודל דנסי, שבו כל הפרמטרים פעילים, כדי לפשט את תשתית האימון. היא גם לא קנתה נתונים לשלב שאחרי האימון המקדים, ובנתה במקומם צינורות של נתונים סינתטיים. לדבריה, הציון הושג ב-1.4 מיליון rollouts, הרצות ניסיון של המודל בשלב הלמידה בחיזוק, בערך פי 70 פחות מאשר ב-Reflection Beam. המודל אומן מראש על 12 טריליון טוקנים ותומך בחלון הקשר של עד מיליון טוקנים.

לא מוצר הליבה

Ricursive מגדירה את עצמה כמעבדה שמשלבת חומרה, תוכנה ומודלים כדי לבנות מערכות שמשפרות את עצמן. Ripple-65B Preview הוא גרסה כללית של מודל קנייני שמפעיל את פלטפורמת תכנון השבבים שלה. כלומר, המודל הפתוח הוא תוצר לוואי של מוצר מסחרי, ולא מוצר הליבה של החברה.

המודל זמין ב-Hugging Face, Together AI, GMI Cloud ו-OpenRouter, ולפי החברה גם Fireworks צפויה להצטרף. בזכות גודלו, היא טוענת, הוא יכול לרוץ ביעילות על מכשירים מקומיים כמו DGX Spark של אנבידיה.

למה זה חשוב

אם הנתונים יעמדו בבדיקה עצמאית, המשמעות היא שמעבדה קטנה יחסית יכולה להגיע לתוצאות תחרותיות בתכנות אוטונומי בתקציב של עשרות מיליוני דולרים, ולא מאות. רישיון Apache 2.0 מאפשר גם שימוש מסחרי, כך שחברות יוכלו להריץ את המודל על תשתית משלהן. עם זאת, מדובר בגרסת Preview ובמבחן אחד שהחברה בחרה להבליט, ומבחנים חיצוניים ושימוש בפועל הם שיקבעו ככל הנראה אם הביצועים מחזיקים גם מחוץ לטבלה.