טנסנט משחררת את Hy-SimulMT: מודל פתוח לתרגום סימולטני בין סינית לאנגלית, כולל שיבוט קול בזמן אמת

צוות Hunyuan של טנסנט שחרר היום (26 באוקטובר) את Hy-SimulMT, מודל לתרגום סימולטני בזמן אמת. המודל מתרגם דיבור לדיבור בין סינית לאנגלית, בשני הכיוונים. הוא קולט שמע ברציפות, מתחיל לתרגם עוד לפני שהדובר סיים את המשפט, ומפיק גם טקסט מתורגם וגם דיבור. בנוסף הוא משבט את קולו של הדובר בזמן אמת, כך שהתרגום נשמע בקול שלו. המודל זמין ב-Hugging Face, כולל גרסה בפורמט GGUF.

האתגר: לתרגם לפני שהמשפט נגמר

לפי דף המודל, הקושי בתרגום סימולטני הוא לא רק להעביר טקסט משפה לשפה, אלא להבין ולנסח את התרגום בזמן שהדובר עדיין מדבר. אם מחכים לעוד מידע קל יותר להבין את המשמעות המלאה, אבל המאזינים מחכים יותר. אם מתחילים לדבר מוקדם, המודל צריך להבין ולתרגם מקטעים חלקיים. טנסנט מגדירה את המודל כניסיון לאזן בין שני הצדדים, ומכוונת אותו לפגישות, הרצאות וראיונות.

המספרים

בבדיקה על RealSI, מבחן פתוח של קטעי שמע ארוכים, Hy-SimulMT הגיע ל-StreamLAAL של כ-3 שניות. StreamLAAL הוא מדד לפיגור של תרגום זורם, וכאן נמוך יותר זה טוב יותר. זו התוצאה הנמוכה ביותר מבין המערכות שהושוו. ציון האיכות שלו במדד GEMBA היה גבוה מזה של כל המודלים הפתוחים שהושוו, ומזה של ארבעה מתוך חמישה ממשקי API מסחריים. טנסנט עצמה מציינת ש-StreamLAAL אינו אותו דבר כמו הזמן עד שנשמעת המילה המתורגמת הראשונה.

החברה פרסמה גם תוצאות בארבעה מבחנים של קטעי שמע קצרים. ב-RealSI-Sentence המודל קיבל 84.7, הציון הגבוה ביותר מבין כל המערכות בטבלה. ב-FLEURS הוא קיבל 90.3 וב-ACL6060 קיבל 81.2. בשני המבחנים האלה הוא עקף את המודלים הפתוחים, אבל נשאר מאחורי Gemini3.5-LiveTranslate של גוגל, שקיבל 92.4 ו-82.6. ב-CoVoST2 הוא הגיע ל-75.5, פער גדול מאחורי Qwen3.8-LiveTranslate של עליבאבא, שקיבל 82.1. חשוב לזכור שכל המדידות האלה פורסמו על ידי טנסנט ולא נבדקו באופן עצמאי.

טנסנט גם השוותה את המודל למתורגמנים סימולטניים מקצועיים. לצורך ההשוואה נאספו 18 הקלטות בסינית ובאנגלית שעלו לרשת מספטמבר 2026 ואילך, באורך של כשש דקות כל אחת, מעשרה תחומים שונים, ביניהם תוכנה ו-AI, רפואה וחקלאות.

מה זה נותן למפתחים

לצד המשקלות, טנסנט מספקת ב-GitHub את SimulInfer, שירות להרצת המודל, ואת SimulTrain, כלים לאימון. יש כאן הסתייגות חשובה: כדי לקבל פלט קולי ושיבוט קול צריך להגדיר שירות TTS (המרת טקסט לדיבור) נפרד. מי שמריץ רק את המודל יקבל ככל הנראה בעיקר את התרגום הטקסטואלי. משתמשים שרק רוצים לנסות יכולים לעשות זאת באפליקציית Hy Translate ל-Android ול-iOS.

שם המאגר, 30B-A3B, מרמז ככל הנראה על ארכיטקטורת Mixture of Experts: כ-30 מיליארד פרמטרים בסך הכול, שמתוכם רק כ-3 מיליארד פעילים בכל שלב. GGUF הוא הפורמט המקובל להרצת מודלים מקומית בכלים כמו llama.cpp. השילוב הזה מעיד כנראה על כוונה לאפשר הרצה על חומרה ביתית חזקה ולא רק בענן.

למה זה חשוב

תרגום סימולטני היה עד כה בעיקר נחלתם של שירותים מסחריים סגורים. מודל פתוח שמגיע לרמה דומה, לפחות לפי נתוני החברה, מאפשר למפתחים לבנות כלי תרגום לכנסים, לשיחות וידאו או לשירות לקוחות בלי לשלוח את השמע לשרת חיצוני. למגבלה הבולטת יש משמעות ישירה לקוראים בישראל: המודל תומך כרגע רק בסינית ובאנגלית. עברית, וכל שפה אחרת, לא נתמכות.