אנבידיה משחררת מודל תמלול פתוח ל-40 שפות, אבל רק להקלטות
אנבידיה שחררה את Nemotron 3.5 Transcribe, מודל open-weight חינמי שמתמלל 40 שפות, מזהה עד שמונה דוברים ומתרגם 31 שפות לאנגלית וממנה. המודל עובד רק על הקלטות ולא על שידור חי, ולכן הוא מתאים בעיקר לתמלול ישיבות ולתמלול רפואי.
אנבידיה שחררה ביום רביעי את Nemotron 3.5 Transcribe. זה מודל תמלול חינמי מסוג open-weight, כלומר המשקולות שלו פתוחות להורדה ולהרצה עצמאית. המודל מתמלל דיבור ב-40 שפות. יחד איתו פרסמה החברה את הגרסה השנייה של Granary, מאגר נתוני דיבור בקוד פתוח. יש מגבלה אחת חשובה: המודל עובד על אודיו מוקלט בלבד ולא על שידור חי.
מה המודל יודע לעשות
לפי הפוסט הרשמי של אנבידיה ב-Hugging Face, המודל מאחד כמה יכולות: תמלול, זיהוי דוברים (diarization, כלומר סימון מי אמר מה), תרגום ומענה על שאלות לגבי תוכן ההקלטה. הוא מתרגם 31 שפות לאנגלית וממנה, ומזהה דוברים ב-13 שפות. הוא מטפל בהקלטות של עד שעה ומבחין בין עד שמונה דוברים. יש גם תמיכה בחותמות זמן ברמת המילה הבודדת.
המודל מקבל הוראות בשפה טבעית. אותה הקלטה של ישיבה יכולה להפוך לתמלול עם שמות דוברים, לתרגום לאנגלית או לרשימת ההחלטות שהתקבלו בה, לפי מה שמבקשים. בדוגמה מתחום הבריאות אנבידיה מראה איך מוסיפים להוראה מונחים רפואיים צפויים, כמו HbA1c ו-metformin, כדי שהמודל יאיית אותם נכון. החברה מציינת שהשפות הנתמכות משתנות ממשימה למשימה, ושמענה על שאלות אומן באנגלית בלבד. היא גם ממליצה לבדוק ידנית שמות, החלפות דוברים ותשובות מול ההקלטה המקורית.
ביצועים וחומרה
לפי אנבידיה, Transcribe מדורג ראשון בין המודלים הפתוחים בדירוג Open ASR Leaderboard של Hugging Face באנגלית. שיעור שגיאות המילים הממוצע שלו (WER) הוא 5.33%. בשבע שפות הממוצע הוא 4.62%, ובהקלטות ארוכות 10.98%. בזיהוי דוברים, החברה מדווחת על שיעור השגיאות הנמוך ביותר בדירוג של David AI, שכולל 21 שפות, ועל מקום ראשון בהשוואה של VoiceArena בין 14 מערכות. כדאי לזכור שאת הנתונים האלה מציגה החברה עצמה.
לפי TechCrunch, למודל 30 מיליארד פרמטרים, והוא רץ על שבב יחיד: מבקר הרובוטיקה Jetson AGX Thor, מערכת DGX Spark או שבבי Blackwell למרכזי נתונים. המשמעות היא שארגון יכול ככל הנראה לתמלל הקלטות על חומרה משלו, בלי לשלוח אותן לשרתים חיצוניים. זה שיקול מהותי כשמדובר במידע רפואי או עסקי רגיש.
התאמה לתחום ספציפי
עם Granary v2 וכלי ה-fine-tuning של NeMo Speech, מפתחים יכולים לאמן את המודל על הז'רגון והמבטאים של התחום שלהם. במקרה בוחן רפואי שאנבידיה פרסמה, אימון כזה הוריד את שיעור שגיאות המילים ב-45.8% בהשוואה לתוצאה הטובה ביותר שהושגה באמצעות הוראות בלבד. החברה Agora, שמפעילה פלטפורמת קול ווידאו בזמן אמת, השתמשה בחותמות הזמן בהדגמה שמציגה תמלול של שיעור מוקלט לצד ההקלטה עצמה.
למה זה חשוב, ואיפה זה נעצר
TechCrunch מציין שאנבידיה מכוונת לשני תחומים שבהם AI כבר מושרש בעולם העבודה: ישיבות עסקיות ותמלול רפואי. בשני התחומים האלה ההקלטה בדרך כלל מעובדת אחרי שהסתיימה, ולכן המגבלה לשמע מוקלט פחות מורגשת בהם.
בעוזרים קוליים, בשירות לקוחות אוטומטי ובכתוביות חיות התמונה שונה, כי שם התגובה צריכה להגיע מיד. באותה תקופה ElevenLabs השיקה את Realtime, שמיועד לדיבור מיידי בסוכנים קוליים. ההערכה היא שבתחום זמן האמת, ElevenLabs והמתחרות שלה עדיין לא צריכות לחשוש מהמודל החדש.
השחרור מגיע בתקופה עמוסה בתחום הקול: Mistral השיקה החודש את Voxtral 3, ו-Salesforce הציגה את Launa-Omni. המודל החדש מצטרף גם למודלים הקוליים הפתוחים הקיימים של אנבידיה, כמו Parakeet הקטן (1.1 מיליארד פרמטרים). המודל זמין ב-Hugging Face וב-ModelScope. מפתחים ישראלים יצטרכו לבדוק בטבלת השפות בכרטיס המודל אם עברית נתמכת, ובאילו משימות.