Mistral מציגה את Voxtral 3: מודלים לתמלול ולדיבור, וערכת SDK לבניית סוכני קול בזמן אמת
חברת ה-AI הצרפתית Mistral השיקה את Voxtral 3, משפחה של מודלים להמרת דיבור לטקסט ולהמרת טקסט לדיבור. לצד המודלים היא מציעה ערכת SDK שמחברת האזנה, הסקה, שימוש בכלים ודיבור לצינור אחד בזמן אמת. אפשר להשתמש בה דרך API שמתארח באירופה או להריץ אותה על תשתית של הארגון עצמו.
חברת Mistral הצרפתית הכריזה על Voxtral 3. זו משפחה חדשה של מודלים לתמלול דיבור (speech-to-text) ולהקראת טקסט בקול (text-to-speech). לצד המודלים החברה משיקה ערכת SDK, כלומר אוסף כלים למפתחים, לבניית סוכני קול. הסוכנים האלה יכולים להאזין, להבין מה המשתמש רוצה, לבצע פעולות במערכות חיצוניות ולענות בקול, והכול בזמן אמת. המערכת זמינה כבר היום דרך API שמתארח באיחוד האירופי, ואפשר גם להתקין אותה על תשתית של הארגון.
ארבע יכולות שצריכות לעבוד ביחד
Mistral מסבירה את הצורך בבעיה מוכרת. כדי שסוכן קול יעבוד היטב הוא צריך לעשות ארבעה דברים בו-זמנית: להאזין בדייקנות למרות שפות, מבטאים, כמה דוברים והתפרצויות; להבין את כוונת המשתמש בהקשר; לדבר באופן טבעי; ולבצע פעולות בכמה שלבים. לפי החברה, השילוב של כל הארבעה בזמן אמת הוא האתגר האמיתי. ה-SDK החדש מרכז אותם ב-pipeline אחד, שהוא צינור עיבוד שמזרים את המידע ברציפות.
בהדגמה שפרסמה החברה, מטופלת בשם Béatrice מבקשת מהסוכן לקבוע תור לפי מכתב הפניה בצרפתית. היא טועה במספר הסימוכין ומתקנת את עצמה, והסוכן שולף את המכתב לפי המספר המתוקן. אחר כך הוא מסביר לה באנגלית שמדובר בהפניה לרופא עור, מציע תור פנוי וקובע אותו אחרי שהיא מאשרת.
הרכיבים
תמלול. מודל התמלול Voxtral Transcribe 3 תומך עכשיו ב-50 שפות. ביניהן 24 השפות הרשמיות של האיחוד האירופי, וגם שפות אסייתיות והודיות רבות שיש עליהן מעט נתוני אימון (low-resource). המודל מזהה מי אמר מה (diarization), ואפשר לתת לו מראש מונחים וביטויים מרכזיים כדי לשפר את הדיוק (context biasing). הוא גם מזהה מתי הדובר סיים לדבר, כך שהסוכן יכול לענות בלי השהיה.
לפי Mistral, גרסת Small של המודל משיגה את התוצאות הטובות ביותר בתמלול רב-לשוני ובזיהוי דוברים, ועוקפת את Whisper, את Scribe v2 ואת Gemini 3.5 Transcribe. אלה טענות של החברה עצמה, ועדיין לא ברור אם מבחנים בלתי תלויים יאששו אותן. גרסת Mini מבוססת על מודל בגודל 4 מיליארד פרמטרים, ומחירה 0.0035 דולר לדקת אודיו.
דיבור. מודל ההקראה Voxtral Mini TTS 3 מביא קולות חדשים שמשנים את הרגש, הקצב וההדגשה לפי מהלך השיחה. הוא תומך ביותר מ-35 שפות וביותר מ-50 ניבים.
Pro Voice. לשימושים מקצועיים שבהם שכפול קול בסיסי לא מספיק, החברה מציעה התאמת קול שמשחזרת את האופי, הטווח הרגשי וסגנון הדיבור של דובר מסוים, גם בשפות אחרות. לשם כך דרושות 30 דקות של הקלטה בלבד.
למה זה חשוב
ההכרזה נוגעת בשני תחומים. הראשון הוא מוצרי: סוכני קול נחשבים לאחד השימושים המעשיים של AI גנרטיבי במוקדי שירות, בעוזרים וירטואליים ובמערכות שעובדות בלי ידיים. Mistral מציעה את כל השרשרת אצל ספק אחד, ולא כרכיבים נפרדים שהמפתח צריך לחבר בעצמו.
השני, וככל הנראה החשוב יותר, הוא שליטה בנתונים. לפי Mistral, הארגון קובע היכן מעובד האודיו, איך מטופלים הנתונים והאם השיחות נשמרות בכלל. שיחות קוליות כוללות לעתים קרובות מידע רגיש, כמו פרטים רפואיים או פיננסיים. לכן ייתכן שהאפשרות לעבוד על שרתים אירופיים או על תשתית פרטית תהיה שיקול מכריע לארגונים שמחפשים חלופה לספקי הענן האמריקאיים, בין היתר בגלל דרישות רגולציה ופרטיות.
לקוראים בישראל כדאי לדעת: ההודעה לא מפרטת את רשימת השפות המלאה ולא מציינת אם עברית נתמכת. מי ששוקל להשתמש בכלי צריך לבדוק את זה ישירות מול התיעוד של Mistral.