Zyphra משחררת את ZONOS3-Mini: מודל דיבור בקוד פתוח שרץ בזמן אמת בדפדפן
חברת Zyphra שחררה את ZONOS3-Mini, מודל להמרת טקסט לדיבור (TTS) ברישיון Apache 2.0. למודל 800 מיליון פרמטרים בסך הכול, ורק 100 מיליון מהם פעילים בכל רגע. הוא משכפל קולות, מאפשר לשלוט באופן ההגשה מילה אחר מילה ורץ בזמן אמת ישירות בדפדפן.
חברת Zyphra שחררה את ZONOS3-Mini, מודל text-to-speech (TTS, המרת טקסט לדיבור) בקוד פתוח. לפי MarkTechPost, המודל מופץ ברישיון Apache 2.0. יש בו 800 מיליון פרמטרים בסך הכול, אבל רק 100 מיליון מהם פעילים. הוא יודע לשכפל קולות, מאפשר לכוון את אופן ההגשה מילה אחר מילה, והחשוב מכול: הוא רץ בזמן אמת בתוך הדפדפן.
מה יש בתוך המודל
הנתון שבולט ביותר הוא הפער בין גודל המודל הכולל לבין החלק שעובד בפועל. מתוך 800 מיליון פרמטרים, רק 100 מיליון פעילים. פער כזה מאפיין בדרך כלל ארכיטקטורות שבהן רק חלק מהרשת מופעל בכל שלב חישוב, למשל Mixture of Experts. כך המודל יכול להחזיק ידע רב יחסית, ועלות החישוב שלו נשארת נמוכה. מקור הידיעה לא מפרט את הארכיטקטורה, אבל סביר שזה מה שמאפשר להריץ אותו בזמן אמת על חומרה צנועה.
שתי יכולות מרכזיות מוזכרות בהודעה:
- שכפול קול (voice cloning): המודל יכול לחקות קול של דובר מסוים.
- שליטה בהגשה מילה אחר מילה: במקום לקבוע טון אחד לכל המשפט, אפשר ככל הנראה להשפיע על אופן ההגייה וההדגשה של מילים בודדות. זו שליטה עדינה יותר ממה שמקובל בהרבה מערכות TTS.
למה הדפדפן חשוב
רוב מערכות הדיבור הסינתטי המתקדמות פועלות כיום בענן. הטקסט נשלח לשרת מרוחק, ושם מופק קובץ השמע. מודל שרץ בזמן אמת בדפדפן הופך את הסדר הזה. החישוב מתבצע על המכשיר של המשתמש, מה שמכונה "מחשוב קצה" (edge).
להערכתנו, לכך יש כמה השלכות מעשיות:
- פרטיות: הטקסט לא חייב לעזוב את המכשיר, וזה רלוונטי למשל לאפליקציות שמקריאות מסמכים אישיים.
- עלויות: מפתחים שמשלבים את המודל לא צריכים לשלם על שרתים או על קריאות API לכל משפט שמוקרא.
- השהיה: בלי סבב תקשורת לשרת, התגובה יכולה להיות מהירה יותר, וזה קריטי לעוזרים קוליים ולממשקי שיחה.
המשמעות של Apache 2.0
רישיון Apache 2.0 הוא מהמתירניים ביותר בעולם הקוד הפתוח. הוא מאפשר שימוש מסחרי, שינוי והפצה מחדש, בלי לחייב את מי שבונה עליו לפתוח את הקוד שלו. בשוק שבו חלק ממודלי הדיבור הפתוחים מופצים ברישיונות שמגבילים שימוש מסחרי, לבחירה הזו יש ככל הנראה משקל ממשי עבור חברות וסטארט-אפים שמחפשים בסיס לבניית מוצרים.
שכפול קול: היכולת והסיכון
היכולת לשכפל קול במודל פתוח שרץ על כל מחשב היא חרב פיפיות. מצד אחד, היא פותחת אפשרויות לנגישות, למשל השבת קול לאנשים שאיבדו את יכולת הדיבור, ולדיבוב והפקת תוכן. מצד שני, כשהמודל זמין לכל אחד ולא עובר דרך שרת מבוקר, קשה יותר לאכוף מגבלות שימוש ולמנוע זיופים קוליים. הידיעה לא מציינת אם Zyphra הטמיעה במודל מנגנוני הגנה כלשהם.
בשורה התחתונה
ZONOS3-Mini מצטרף למגמה שבה מודלי AI קטנים ויעילים יוצאים מהענן אל המכשיר עצמו. השילוב של רישיון פתוח, הרצה בזמן אמת בדפדפן ושליטה מדויקת בהגשה הופך אותו, ככל הנראה, לאופציה מעניינת למפתחים שרוצים לשלב דיבור סינתטי במוצרים שלהם בלי תלות בספק ענן. המבחן האמיתי יהיה איכות הקול בפועל, ואיך הוא מתמודד עם שפות שאינן אנגלית. המקור לא מתייחס לשתי הנקודות האלה.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות