Together AI משיקה את Together Compiler: סוכנים שמייעלים הסקה, עם טענה לשיפור של עד פי 2.6

Together AI השיקה את Together Compiler, מערכת מבוססת סוכנים שממשיכה לייעל את הרצת מודלי ה-AI גם תוך כדי פעולה, בהתאם לשינויים בתעבורה. לפי הדיווח ב-MarkTechPost, המערכת עקפה את התצורות הטובות ביותר של InferenceX בעד פי 2.6 במדד TPS, ועשתה זאת בפחות מ-24 שעות לכל מודל. הנתון הזה מבוסס ככל הנראה על השוואה שערכה החברה עצמה, ובחומר שבידינו אין אזכור לבדיקה של גורם חיצוני.

מה המערכת עושה

הסקה (inference) היא השלב שבו מודל שכבר אומן עובד בפועל: מקבל בקשה ומחזיר תשובה. בכל פעם שצ'אטבוט מנסח תגובה, מתבצע מאחורי הקלעים forward pass, כלומר מעבר חישובי של הנתונים דרך שכבות המודל. זהו החלק שעליו מתמקד הכלי החדש.

על פי התיאור, Together Compiler הוא לולאה המונעת בידי סוכנים, שמבצעת שוב ושוב אופטימיזציה ל-forward pass ככל שדפוסי התעבורה משתנים. כאן נמצא ההבדל מהגישה המקובלת: מהדר (compiler) רגיל מתרגם קוד לצורה יעילה פעם אחת, ואילו כאן התהליך נמשך לאורך זמן.

ההיגיון מובן גם למי שאינו מהנדס. הגדרות שמתאימות לזרם של בקשות קצרות לא בהכרח יתאימו לבקשות ארוכות, או לשעות עומס. מערכת שמסתגלת לתעבורה בפועל יכולה, לפחות בתיאוריה, להפיק יותר מאותה חומרה בלי שמהנדסים יכווננו אותה ידנית בכל שינוי.

איך לקרוא את המספר

TPS הוא קיצור של tokens per second: כמה יחידות טקסט המערכת מייצרת בשנייה. שלוש הסתייגויות חשובות כאן:

• "עד" פי 2.6 מתאר את התוצאה הגבוהה ביותר, לא בהכרח את השיפור הטיפוסי.
• ההשוואה נערכה ככל הנראה בידי Together AI, שיש לה עניין מסחרי בתוצאה. הנתונים שבידינו אינם מצביעים על אימות עצמאי.
• חסרים פרטים: בחומר שעומד לרשותנו לא מצוינים המודלים שנבדקו, החומרה, עומסי העבודה או השיפור הממוצע, ובלעדיהם קשה להעריך כמה התוצאה רלוונטית לעומסים אחרים.

למה זה חשוב

הסקה היא הוצאה מתמשכת: אימון מתבצע פעם אחת, אבל הרצת המודל משולמת בכל בקשה של כל משתמש. לכן שיפור בתפוקה על אותה חומרה עשוי להתבטא, ככל הנראה, בעלות נמוכה יותר לכל תשובה או במענה ליותר משתמשים. עבור חברה שמוכרת תשתית להרצת מודלים, זהו יתרון תחרותי ישיר.

הנתון על פחות מ-24 שעות לכל מודל מעניין לא פחות. אם הוא יחזיק מעמד, המשמעות היא שאפשר להתאים מודל חדש לתשתית במהירות יחסית. במובן רחב יותר, המהלך משתלב במגמה שבה סוכני AI מופעלים לא רק כמוצר למשתמש הקצה, אלא גם לשיפור התשתית שעליה ה-AI עצמו רץ.

המבחן האמיתי יהיה בפרטים: האם גורמים חיצוניים ישחזרו את התוצאות, ועד כמה השיפור נשמר בעומסים אמיתיים ולאורך זמן.