DeepL רוצה שתרגום קולי בזמן אמת יעביר גם סרקזם ושינויי מצב רוח

חברת התרגום הגרמנית DeepL משיקה את Aure, מודל קולי חדש שאמור לגרום לתרגומים בזמן אמת להישמע טבעיים יותר. לפי הדיווח ב-The Decoder, המודל מעביר לשפת היעד את הטון, הרגש, ההדגשות וקצב הדיבור של הדובר המקורי. במילים אחרות, הוא מעביר גם את האופן שבו הדברים נאמרים, ולא רק את התוכן.

מה השתנה

עד היום DeepL Voice הפיק את הדיבור המתורגם על בסיס דגימת קול קבועה, שנקלטה בתחילת השיחה. לכן הקול המתורגם נשמע אותו דבר לאורך כל השיחה. הוא לא הבחין כשהדובר התלהב, התעצבן או אמר משהו בציניות.

Aure עובד אחרת. לפי החברה, המודל מנתח ברציפות לאורך השיחה גם את הטקסט המתורגם וגם את האודיו המקורי. כך הוא אמור לזהות שינויים במצב הרוח, וגם סרקזם, ולשחזר אותם בשפה השנייה.

איך זה עובד

בשלב האימון DeepL מפרידה בין שלושה רכיבים: זהות הקול (מה שגורם לדובר להישמע כמו עצמו), מנגינת הדיבור (האינטונציה, העליות והירידות בטון) והתוכן עצמו. ההפרדה מאפשרת להעביר כל רכיב לשפה החדשה בנפרד. בנוסף, החברה משתמשת ב-reinforcement learning, שיטת אימון שבה המודל מקבל משוב על התוצרים שלו ומשתפר בהתאם. כאן היא משמשת כדי שהמבטא של הדובר המקורי לא יעבור לפלט המתורגם.

המשמעות המעשית היא ככל הנראה כזו: דובר גרמנית שמדבר באנגלית דרך המערכת אמור להישמע כמו עצמו, עם אותה התרגשות או אותה אירוניה, אבל בלי מבטא גרמני כבד שנגרר לתרגום.

איפה זה זמין

Aure פועל אוטומטית ב-DeepL Voice for Online Meetings (פגישות מקוונות), ב-In-Person Conversations (שיחות פנים אל פנים) וב-DeepL API, הממשק שמאפשר למפתחים לשלב את השירות במוצרים שלהם. בהשקה המודל תומך בשמונה שפות: אנגלית, גרמנית, ספרדית, צרפתית, איטלקית, יפנית, פורטוגזית וקוריאנית. עברית אינה ברשימה.

הרקע: מהלך ארוך יותר

Aure הוא שלב נוסף בכיוון שהחברה כבר החלה בו. DeepL השיקה לראשונה שימור של קול הדובר בספטמבר. במאי היא קיצצה כ-250 משרות, במסגרת ארגון מחדש סביב צוותים קטנים יותר שנשענים על AI. את התהליך כולו היא הגדירה כמעבר לחברה "AI-native". החברה גם רכשה את הצוות שמאחורי Mixhalo, חברה שמתמחה בהזרמת אודיו, כדי לחזק את יכולות תרגום הדיבור שלה בזמן אמת.

DeepL אינה לבד. גם Block מנסה ללכוד את המשמעות שמעבר למילים, ולאחרונה חשפה את Dessa, מודל דיבור שנועד לזהות רגשות וסרקזם ישירות מתוך האודיו.

למה זה חשוב

הבעיה של תרגום קולי מעולם לא הייתה רק דיוק המילים. אותו משפט יכול להיות מחמאה או עקיצה, תלוי בטון. תרגום שמאבד את הטון עלול להעביר משמעות הפוכה מזו שהדובר התכוון אליה, וזה מסוכן במיוחד במשא ומתן עסקי או בשיחה רגישה. אם Aure אכן עומד בהבטחה, תרגום בזמן אמת יעבור ככל הנראה מכלי שמסתפק בהבנה בסיסית לכלי שמעביר גם את הכוונה של הדובר. עם זאת, בדיווח לא מוזכרים נתונים על איכות המודל או השוואה למערכות אחרות. קשה לדעת עד כמה הוא מצליח לזהות סרקזם בפועל לפני שמשתמשים יבדקו אותו בשיחות אמיתיות.