Kimi K3.1 Pro Highspeed של Moonshot AI זמין עכשיו ב-Amazon Bedrock

חברת Moonshot AI מעמידה לרשות לקוחות AWS מודל חדש. לפי הודעה בבלוג של AWS, המודל Kimi K3.1 Pro Highspeed זמין עכשיו ב-Amazon Bedrock, שירות המודלים המנוהל של אמזון. המודל שייך לסדרת K3.1 החדשה של Moonshot. מדובר בגרסה של Kimi K3 שעברה post-training, כלומר שלב אימון נוסף אחרי האימון הבסיסי, והפעם עם כמות גדולה בהרבה של כוח חישוב.

מה השתנה לעומת Kimi K3

הארכיטקטורה לא השתנתה: מודל open-weight (משקולות פתוחות) בסדר גודל של 3T, כלומר כ-3 טריליון פרמטרים, עם חלון הקשר של מיליון טוקנים. לפי Moonshot AI, האימון הנוסף נועד לשפר את המודל במשימות agentic ארוכות, שבהן המודל פועל באופן עצמאי לאורך שלבים רבים, ולצמצם טעויות עובדתיות. החברה מדווחת גם על שיפור במשימות מקצועיות כמו מידול פיננסי ומסמכים משרדיים, ובכתיבת קוד למנועי משחק, לסצנות תלת-ממד ולסקריפטים של תוכנות CAD.

הגרסה שעלתה ל-Bedrock היא Highspeed. לפי Moonshot AI, היא מייצרת טוקנים מהר פי 2 עד 3 מ-Kimi K3.1 Pro הרגיל. המודל תומך ב-tool calling (קריאה לכלים חיצוניים), בפלט מובנה, בקלט של תמונות ובהזרמת תשובות (streaming). תמיד מתבצע שלב חשיבה לפני התשובה, והמפתח יכול לקבוע כמה חשיבה תהיה: low, high או max. ברירת המחדל היא max, ולכן הורדת הרמה היא הדרך הישירה לקצר זמני תגובה ולחסוך טוקנים במשימות פשוטות.

מעבר בשינוי שורה אחת

עבור מפתחים, החידוש המרכזי הוא כנראה קלות האימוץ. המודל זמין דרך ממשקי Chat Completions ו-Responses תואמי OpenAI, וגם דרך ממשקי Converse ו-Invoke של Bedrock. AWS ממליצה על Chat Completions. אפליקציה שכבר עובדת עם ה-SDK של OpenAI צריכה רק לכוון אותו לכתובת של Bedrock ולהחליף את שם המודל. מי שכבר משתמש ב-Kimi K3 ב-Bedrock צריך להחליף רק את מזהה המודל.

המודל נגיש דרך שלושה פרופילים של cross-Region inference, כלומר הפעלה שמנותבת בין אזורי ענן שונים:

• global: מנתב לכל אזור מסחרי נתמך ב-AWS, וזול יותר לטוקן. AWS ממליצה עליו לרוב השימושים.
• us: העיבוד נשאר בתוך אזורי ארה"ב.
• in: העיבוד נשאר בתוך אזורי הודו.

שני הפרופילים האזוריים נועדו לארגונים שמחויבים לדרישות של מיקום נתונים (data residency).

שאלת הנתונים

אצל ארגונים שבוחנים מודל של חברה סינית, שאלת הנתונים עולה בדרך כלל ראשונה. AWS מתייחסת אליה ישירות. לפי ההודעה, הנתונים מעובדים בתוך גבולות AWS, לא מועברים ל-Moonshot AI ולא משמשים לאימון המודל. מדיניות zero data retention, כלומר אי-שמירה של נתוני הבקשות, פועלת תמיד. במצב zero operator access, גם עובדי AWS לא יכולים לראות את הפרומפטים והתשובות בזמן ההפעלה.

AWS מזכירה גם דרכים להוזלת השימוש: שכבת התמחור Flex ו-prompt caching מפורש, כלומר שמירה במטמון של הקשר שחוזר על עצמו בין בקשות. בנוסף היא מציגה שימוש במודל כעוזר קוד בכלי OpenCode. ההודעה אינה מפרטת מחירים.

למה זה חשוב

בשביל הקהל הרחב, זו ככל הנראה עוד הרחבה של קטלוג מודלים. בשביל צוותי פיתוח שכבר עובדים על AWS, המשמעות מעשית יותר: אפשר לנסות מודל open-weight גדול עם חלון הקשר ארוך בלי חוזה חדש, בלי ספק נוסף ובלי לשנות את הגדרות האבטחה. ההערכה היא שהצירוף של תאימות ל-OpenAI, מיקוד במשימות agentic ובקוד, והתחייבויות מפורשות לגבי נתונים, נועד להוריד את החסמים שבדרך כלל מעכבים אימוץ ארגוני של מודלים סיניים.