כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
חברת NaiveAI פרסמה את Naive-N0.5-Flash, מודל MoE עם 309 מיליארד פרמטרים, מתוכם 15.5 מיליארד פעילים. המודל נבנה לפיתוח קוד ולמחקר AI, תומך בהקשר של מיליון טוקנים בלי שכבות full attention, והמשקולות שלו משוחררות ברישיון MIT. לדברי החברה, מודלי AI שלה היו שותפים לתכנון הארכיטקטורה של המודל עצמו.
כמה פרויקטי open source חדשים מנסים להריץ מודלי שפה ענקיים על חומרה ביתית. הם מפזרים את משקלי המודל בין כרטיס המסך, זיכרון ה-RAM והדיסק. FreeToken ו-Colibrì מכוונים למחשבים עם כרטיסי אנבידיה ולמעבדים רגילים, Splash 1.1.0 מתמקד במחשבי Mac, ומפתח עצמאי מדווח על הרצה של DeepSeek-V4-Flash על כרטיס מסך עם 12GB בלבד.
חברת StepFun השיקה את Step 5 Preview, מודל שפה בארכיטקטורת MoE עם 600 מיליארד פרמטרים בסך הכול ו-27 מיליארד פעילים בכל טוקן, לצד חלון הקשר של מיליון טוקנים ותמיכה בקלט טקסט, תמונה ווידאו. המודל ממוקד במשימות אגנטיות ארוכות טווח בפיתוח תוכנה, עבודת ידע מקצועית ופיננסים, זמין כעת דרך API, ובאוקטובר צפוי לצאת גם כמשקלים פתוחים.
חברת Sand.ai פרסמה בקוד פתוח את המשקלים וקוד ה-inference של MAGI-2 Preview, מודל וידאו המבוסס על ארכיטקטורת MoE נדירה לתחום. המודל, שמייצר קטעי וידאו של 10 שניות עם פס קול סינכרוני, מוריד את עלות ההסקה פי כ-10 ומטפס למקום השישי בלידרבורד Artificial Analysis.