כל מה שחם בעולם הבינה המלאכותית · בעברית
בנושא
בגרסה v0.7.0 של llama.cpp, שפורסמה ב-15 באוקטובר, השרת המובנה מאזין כברירת מחדל לפורט 9931 במקום 8080. השינוי שובר תאימות: כל מי שלא הגדיר פורט במפורש, או שהכלים שלו מחפשים את השרת ב-8080, יצטרך לעדכן הגדרות. אימג'י ה-Docker ממשיכים להשתמש ב-8080 בתוך הקונטיינר.
אפליקציית homebrew חדשה בשם PS5LM Plus מאפשרת להריץ מודלי שפה מקומיים על המעבד הגרפי של PS5 פרוץ. לפי דיווח שהופץ ברשתות, Qwen 3.8 27B של עליבאבא רץ על הקונסולה בקצב של כ-20 טוקנים בשנייה. זו הדגמה יצירתית של מה שאפשר לעשות עם חומרה ביתית, ולא בהכרח איום על סוני.
קהילת המודלים המקומיים מדווחת על כמה כלים חדשים להרצת מודלים מסדרת Qwen מחוץ לענן: גרסאות מכווצות (quants) של Dwarfstar, השוואה בין גרסאות שונות של Qwen3.8-27B, והרחבה ל-Pi שמאפשרת לקטוע את שלב ה"חשיבה" של המודל ולקבל תשובה מיד. רוב הדיווחים עדיין לא מאומתים, אבל הם מראים לאן הולך התחום: פחות זיכרון ופחות זמן המתנה על המחשב האישי.
OpenAI השיקה את Dots, סוכנים שממשיכים לעבוד על משימות גם כשהמשתמש לא מחובר, ולכל אחד מהם יש מחשב ודפדפן משלו בענן. במקביל, המכון הבייג'ינגי BAAI פרסם את AREX-2, מודל סוכן פתוח בגודל 27B שמשפר את הפתרונות שלו בכמה סבבים. יחד, שתי ההשקות ממחישות את שני הכיוונים שבהם מתפתחים סוכני ה-AI.
פוסט בפורום r/LocalLLaMA מעלה מחדש את הטענה שהפער בין מודלי AI מקומיים לענניים בזיהוי פרצות אבטחה מצטמצם, בהתבסס על נתונים מהכלי הפתוח CYPHES. בדיקה בחומרי הפרויקט עצמו מגלה תמונה מורכבת יותר: פערי חלון הקשר בין מודלים ענניים למקומיים, ותיקוני ניקוד קודמים שמעידים על מתודולוגיה עדיין לא יציבה.