גוגל, Red Hat ו-IBM משיקות את llm-d 1.0: תשתית פתוחה להרצת מודלי שפה בקנה מידה גדול
גוגל, Red Hat ו-IBM שחררו את llm-d 1.0, מחסנית בקוד פתוח שמריצה מודלי שפה גדולים על גבי Kubernetes ומפזרת את העבודה בין שרתים רבים. הגרסה כוללת ניתוב שמתחשב במטמון, בקרת עומסים לכמה לקוחות במקביל, שדרוגים בלי השבתה ותמיכה גם ב-TPU וגם ב-GPU.