מודלים של מאות מיליארדי פרמטרים על מחשב ביתי: FreeToken, Colibrì ו-Splash מקדמים את ה-inference המקומי
כמה פרויקטי open source חדשים מנסים להריץ מודלי שפה ענקיים על חומרה ביתית. הם מפזרים את משקלי המודל בין כרטיס המסך, זיכרון ה-RAM והדיסק. FreeToken ו-Colibrì מכוונים למחשבים עם כרטיסי אנבידיה ולמעבדים רגילים, Splash 1.1.0 מתמקד במחשבי Mac, ומפתח עצמאי מדווח על הרצה של DeepSeek-V4-Flash על כרטיס מסך עם 12GB בלבד.