Fish Audio משחררת את Drama 3: מודל דיבור פתוח עם 35 מיליארד פרמטרים ו-83 שפות

חברת Fish Audio שחררה את Drama 3, מודל TTS (Text-to-Speech, המרת טקסט לדיבור) בגודל 35 מיליארד פרמטרים. בכל שלב בזמן יצירת הדיבור פועלים רק כ-3 מיליארד פרמטרים. לפי הדיווח ב-MarkTechPost, אפשר לכוון את המודל בהנחיות בשפה פשוטה, הוא תומך ב-83 שפות, והמשקולות שלו מופצות בגישה פתוחה (open weights) תחת רישיון קהילתי עם תקרת הכנסות.

מודל גדול שמפעיל רק חלק קטן ממנו

Drama 3 בנוי בארכיטקטורת Mixture-of-Experts (MoE), כלומר "תערובת מומחים". במקום רשת אחת שכל חלקיה עובדים על כל קלט, המודל מחולק לתתי-רשתות ("מומחים"). מנגנון ניתוב בוחר בכל שלב רק כמה מהם. לכן מתוך 35 מיליארד הפרמטרים פועלים בכל רגע רק כ-3 מיליארד, לפי MarkTechPost.

מבחינה מעשית, ארכיטקטורה כזו מאפשרת בדרך כלל עלות חישוב בזמן ההרצה שקרובה יותר לזו של מודל קטן, וקיבולת שמתקרבת לזו של מודל גדול. חשוב לסייג: כדי להריץ את המודל צריך ככל הנראה לטעון לזיכרון את כל המשקולות ולא רק את החלק הפעיל. המשמעות היא שמי שמתכנן להריץ את Drama 3 על החומרה שלו יצטרך לבדוק את דרישות הזיכרון בפועל.

ארכיטקטורת MoE נפוצה כבר במודלי שפה גדולים (LLM). השימוש בה במודל ייעודי לדיבור מעיד ככל הנראה על כך שהגישה מתחילה לחלחל גם לתחומים אחרים של AI גנרטיבי.

לכוון את הקול במילים

אחד המאפיינים שהדיווח מדגיש הוא שהמודל מקבל הנחיות בשפה טבעית (plain-language direction). בכלי TTS ותיקים שליטה בטון, בקצב או ברגש דרשה בדרך כלל פרמטרים טכניים או תגיות מיוחדות. כאן, לפחות לפי התיאור, אפשר פשוט לכתוב למודל איך הטקסט צריך להישמע. גם שם המודל, Drama, רומז ככל הנראה על הכיוון: דיבור עם הבעה ולא רק הקראה נייטרלית.

לצד זה, Drama 3 תומך ב-83 שפות. המקור אינו מפרט את רשימת השפות, ולכן לא ברור אם עברית ביניהן ובאיזו רמת איכות. מפתחים ישראלים יצטרכו לבדוק זאת בעצמם.

פתוח, אבל עם תקרה

המשקולות של Drama 3 זמינות להורדה, אבל הרישיון הוא רישיון קהילתי עם תקרת הכנסות. במודלים כאלה השימוש בדרך כלל חופשי לחברות ולמפתחים עד רף הכנסות מסוים, ומעליו נדרש הסדר מסחרי נפרד. המקור אינו מציין מהו הרף, ולכן מי שמתכנן שימוש מסחרי צריך לקרוא את תנאי הרישיון המלאים.

זה מודל שכבר מוכר בתעשייה: משקולות פתוחות שמאפשרות לקהילה להתנסות ולבנות, לצד מגבלה ששומרת לחברה את האפשרות לגבות כסף מלקוחות גדולים. ההבחנה חשובה: "open weights" אינו בהכרח open source במובן המלא של המונח.

למה זה חשוב

שוק הקול הסינתטי נשלט במידה רבה על ידי שירותים סגורים שמשלמים עליהם לפי שימוש דרך API. מודל פתוח בהיקף כזה, עם תמיכה רב-לשונית רחבה ושליטה בהנחיות מילוליות, עשוי לתת למפתחים חלופה שאפשר להריץ באופן עצמאי, להתאים ולשלב במוצרים בלי תלות בספק חיצוני.

עם זאת, המקור הזמין אינו כולל נתוני ביצועים או השוואות למודלים אחרים. לכן עדיין מוקדם לקבוע אם Drama 3 הוא אכן "הקול הפתוח הבא" שמפתחים מחפשים. התשובה תגיע ככל הנראה מהשימוש בפועל: איכות הקול, עלות ההרצה ותנאי הרישיון.