Edge0 משחררת Audio8-TTS-Realistic: מודל פתוח לשיבוט קול ב-23 שפות

חברת Edge0 שחררה את Audio8-TTS-Realistic, מודל TTS (המרת טקסט לדיבור) עם משקולות פתוחות שמיועד לשיבוט קול. לפי הדיווח ב-MarkTechPost, למודל יש 0.6 מיליארד פרמטרים, הוא מופץ ברישיון Apache 2.0 ותומך ב-23 שפות. מה שמייחד אותו הוא שלב אימון אחרון בשיטת GRPO, שמונחה על ידי "מבקר ריאליזם" (realism critic): מודל שאומן להעריך עד כמה הדיבור נשמע טבעי.

מה המודל עושה

Audio8-TTS-Realistic מוגדר כמודל לשיבוט קול מסוג zero-shot. בפועל, המשמעות היא שהמודל יכול לחקות קול של דובר על סמך דגימה קצרה בלבד, בלי לאמן אותו מחדש על הקלטות של אותו אדם. במודלים מוקדמים יותר של שיבוט קול נדרשו בדרך כלל דקות רבות של הקלטה ושלב כוונון נפרד לכל דובר.

0.6 מיליארד פרמטרים זה גודל צנוע יחסית לעולם מודלי הבינה המלאכותית של היום. ככל הנראה המשמעות היא שאפשר להריץ את המודל על חומרה סבירה, אולי גם על מחשב אישי עם כרטיס גרפי ביתי, ולא רק בשרתי ענן יקרים. Edge0 לא פרסמה דרישות חומרה מדויקות במקור שבידינו.

איך מלמדים מכונה לדבר "אמיתי"

החידוש הטכני המרכזי, לפי MarkTechPost, הוא שלב GRPO שנוסף בסוף האימון. GRPO (קיצור של Group Relative Policy Optimization) היא שיטה של למידת חיזוק (reinforcement learning) שזכתה לתשומת לב רבה בעולם מודלי השפה. המודל מייצר כמה תוצאות אפשריות לאותה בקשה, כל אחת מקבלת ציון, והמודל לומד להעדיף את התוצאות שקיבלו ציון גבוה ביחס לשאר הקבוצה.

כאן הציון לא מגיע ממדרגים אנושיים אלא ממבקר ריאליזם נלמד, כלומר מודל שאומן להעריך עד כמה דיבור נשמע ריאליסטי. הרעיון ככל הנראה הוא לתקן את הנקודה שבה מערכות TTS רבות עדיין נכשלות: דיבור שמבחינה טכנית נכון ומובן, אבל נשמע מכני, שטוח או "מסונתז". כשהמודל מתוגמל ישירות על טבעיות, הוא אמור ללמוד להפיק אינטונציה וקצב שקרובים יותר לדיבור אנושי. במקור שבידינו אין מספרי ביצועים או השוואות למודלים אחרים, ולכן קשה לקבוע עד כמה השיטה הצליחה בפועל.

למה הרישיון חשוב

Apache 2.0 הוא רישיון קוד פתוח מתירני: הוא מאפשר שימוש מסחרי, שינוי והפצה מחדש, עם מגבלות מעטות. בשוק שבו חלק ניכר משירותי הקול האיכותיים זמינים רק דרך API בתשלום, או מוגבלים בתנאי שימוש מחמירים, מודל פתוח לשיבוט קול נותן למפתחים ולחברות קטנות אפשרות לבנות מוצרים בלי תלות בספק חיצוני. כך אפשר לבנות למשל עוזרים קוליים, דיבוב, הקראה של תוכן או כלי נגישות.

התמיכה ב-23 שפות רלוונטית במיוחד מחוץ לעולם דובר האנגלית. המקור לא מפרט את רשימת השפות, ולכן לא ברור אם עברית ביניהן.

הצד השני של המטבע

שיבוט קול הוא טכנולוגיה דו-שימושית מובהקת. אותה יכולת שמאפשרת להחזיר קול לאדם שאיבד אותו, או לדבב סרטון לשפות רבות, יכולה לשמש גם להתחזות, להונאות טלפוניות ולזיופים עמוקים (deepfakes). כשמודל כזה פתוח וקל להרצה, השליטה במי שמשתמש בו ולאיזו מטרה עוברת במידה רבה מהחברה המפתחת אל המשתמשים. ככל הנראה, ככל שמודלים כאלה יהיו נגישים יותר, יגדל גם הלחץ לפתח כלים לזיהוי קול סינתטי ולקבוע כללי שימוש ברורים. במקור שבידינו לא מפורטים מנגנוני הגנה שהחברה שילבה במודל.