כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
כמה פרויקטי open source חדשים מנסים להריץ מודלי שפה ענקיים על חומרה ביתית. הם מפזרים את משקלי המודל בין כרטיס המסך, זיכרון ה-RAM והדיסק. FreeToken ו-Colibrì מכוונים למחשבים עם כרטיסי אנבידיה ולמעבדים רגילים, Splash 1.1.0 מתמקד במחשבי Mac, ומפתח עצמאי מדווח על הרצה של DeepSeek-V4-Flash על כרטיס מסך עם 12GB בלבד.
חברת Exo Labs טוענת כי הצליחה להשיג רוחב פס זיכרון מצטבר של 4.8 טרהבייט לשנייה באמצעות קלסטר של מחשבי Mac Studio עם שבב M5 Ultra, כשלטענתה רוחב הפס גדל באופן ליניארי עם הוספת כל מחשב. הדיווח, שעלה לראשונה בפורום r/LocalLLaMA ברשת Reddit, טרם אומת באופן עצמאי.
מפתח תוכנה תיעד כיצד סדרת אופטימיזציות בקוד הצליחה להאיץ פי 12 את מהירות התגובה של מודל השפה הסיני DeepSeek V4 Flash על מחשב Mac Studio ביתי. השיפור, שמבוסס על עבודה בפרויקט קוד פתוח בשם ds4, מדגים כיצד קהילת המפתחים ממשיכה לשפר את יכולת הריצה העצמאית של מודלים גדולים על חומרה אישית.