מיקרוסופט משיקה את MAI-Transcribe-2-Streaming: מודל תמלול בזמן אמת שדורג ראשון בבנצ'מארק

Microsoft AI, חטיבת הבינה המלאכותית של מיקרוסופט, השיקה את MAI-Transcribe-2-Streaming. זהו מודל ה-speech-to-text (המרת דיבור לטקסט) הראשון של החברה שמתמלל בזמן אמת. בדירוג AA-WER Streaming של חברת הבנצ'מארקים Artificial Analysis הוא הגיע למקום הראשון מתוך 38 מודלים. המודל תומך ב-60 שפות וזמין כבר עכשיו בתצוגה ציבורית (public preview) בפלטפורמת Microsoft Foundry.

מה המספרים אומרים

הדירוג של Artificial Analysis בודק מודלים לפי WER (קיצור של Word Error Rate), כלומר אחוז המילים שהמודל מתמלל לא נכון. ככל שהמספר נמוך יותר, התמלול מדויק יותר. לפי הדיווח, MAI-Transcribe-2-Streaming הגיע ל-WER של 2.5% בתמלול הסופי, עם זמן של 0.13 שניות. גם בתמלול הראשוני, הטקסט החלקי שמופיע עוד לפני שהמשפט הסתיים, הוא הגיע ל-2.5%, עם זמן של 0.12 שניות.

ההבחנה בין שני השלבים חשובה. במערכות זמן אמת המשתמש רואה קודם ניחוש ראשוני, והוא מתעדכן ככל שהדובר ממשיך לדבר. המספרים מראים שאצל המודל הזה הדיוק בשלב הראשוני זהה לדיוק בתמלול הסופי. ככל הנראה, המשמעות המעשית היא שהטקסט שמופיע על המסך כמעט לא צריך תיקונים בדיעבד. בכתוביות חיות או בעוזר קולי, תיקונים כאלה בולטים מאוד למשתמש.

60 שפות, בלי לבחור מראש

לפי הדיווח, המודל כולל זיהוי שפה רציף (continuous language detection). אין פירוט נוסף על אופן הפעולה, אבל המשמעות הסבירה היא שהמודל מזהה בעצמו באיזו שפה מדברים לאורך השיחה, ולא דורש להגדיר שפה אחת מראש. אם זה אכן כך, מדובר ביתרון ברור בשיחות שבהן עוברים בין שפות, מצב נפוץ גם בישראל. המקור לא מציין אילו 60 שפות נתמכות, ולכן לא ידוע כרגע אם עברית ביניהן.

מחיר וזמינות

בתקופת ההשקה המודל עולה 0.54 דולר לשעת אודיו. המקור לא מציין כמה זמן תימשך התקופה הזו ומה יהיה המחיר אחריה. הגישה למודל היא דרך Microsoft Foundry, פלטפורמת הענן של מיקרוסופט לפיתוח ולהפעלה של מודלי AI. המשמעות היא שהקהל המיידי הוא מפתחים וחברות שבונים מוצרים, ולא משתמשי קצה. מאחר שזו תצוגה ציבורית, סביר שהמודל עוד ישתנה לפני שיגיע לזמינות מלאה.

למה זה חשוב

תמלול בזמן אמת הוא תשתית לשורה של מוצרים: כתוביות חיות לשיחות וידאו ולשידורים, סוכנים קוליים במוקדי שירות, תיעוד פגישות ונגישות לכבדי שמיעה. בכל השימושים האלה צריך גם דיוק וגם מהירות. מודל שמעכב את הטקסט, או מתקן אותו כל הזמן, פוגע בחוויה גם אם התוצאה הסופית שלו מדויקת.

המהלך משתלב גם במגמה רחבה יותר. מיקרוסופט בונה תחת המותג MAI סדרת מודלים משלה, לצד השותפות שלה עם OpenAI. מודל תמלול שמגיע לראש דירוג חיצוני ובלתי תלוי נותן לה, ככל הנראה, טיעון חזק בתחרות על לקוחות ענן בתחום הקולי.

עם זאת, כדאי לזכור שבנצ'מארק הוא מדד אחד בלבד. ביצועים בתנאי אמת, עם רעשי רקע, מבטאים שונים ושפות שקיבלו פחות נתוני אימון, עלולים להיות שונים. בנוסף, המחיר הנוכחי הוא מחיר השקה בלבד. התמונה המלאה תתברר רק כשמפתחים יתחילו להשתמש במודל, וכשמיקרוסופט תפרסם את התנאים לזמינות מלאה.