Block משיקה את Dessa: מודל דיבור דו-כיווני שאומן רק על שיחות אנוש ורץ על MacBook Pro
מעבדת ה-AI של Block הציגה את Dessa, מודל full-duplex מדיבור לדיבור שאומן אך ורק על הקלטות של שיחות בין בני אדם ורץ מקומית על MacBook Pro M4 Max. החברה לא פרסמה את גודל המודל, תוצאות בנצ'מרקים או את המשקולות שלו, ולכן קשה כרגע להעריך עד כמה הוא טוב.
מעבדת הבינה המלאכותית של Block הציגה את Dessa. זה מודל דיבור-לדיבור (speech-to-speech) מסוג full-duplex, כלומר הוא יכול להקשיב ולדבר בו-זמנית, כמו בשיחה אנושית. לפי הדיווח, המודל אומן אך ורק על הקלטות של שיחות בין בני אדם, והוא רץ מקומית על מחשב MacBook Pro עם שבב M4 Max, בלי צורך בחיבור לענן. ובכל זאת, Block לא פרסמה את גודל המודל, תוצאות בנצ'מרקים או את המשקולות שלו.
מה זה full-duplex ולמה זה משנה
רוב עוזרי הקול המוכרים עובדים בתורות. המשתמש מדבר, המערכת מחכה שיסיים, ורק אז היא עונה. בהרבה מקרים מדובר בשרשרת של שלושה רכיבים נפרדים: תמלול הדיבור לטקסט, עיבוד הטקסט במודל שפה (LLM), והמרת התשובה חזרה לקול.
מודל full-duplex שואף לשבור את המבנה הזה. מכיוון שהוא מקשיב ומדבר באותו זמן, הוא יכול להתמודד עם מה שקורה בשיחה אמיתית: קטיעות, "אהה" ו"כן, כן" באמצע המשפט, ודיבור חופף של שני הצדדים. מודל שעובד ישירות מקול לקול גם לא צריך לעבור דרך טקסט, וכך ככל הנראה נשמרים בו טון, קצב ורגש שהולכים לאיבוד בתמלול.
אימון על דיבור בלבד
הפרט הבולט בהכרזה הוא שהמודל אומן רק על אודיו של שיחות אנוש. הגישה המקובלת היא להתחיל ממודל שפה שאומן על כמויות עצומות של טקסט ולהוסיף לו יכולות קול. בחירה באודיו בלבד היא דרך אחרת. המשמעות האפשרית היא מודל שלומד את הדינמיקה של שיחה ישירות מהשיחות עצמן, ולא מטקסט כתוב. עם זאת, בלי נתונים שפורסמו אי אפשר לדעת אם הגישה הזאת מספקת גם הבנה ותוכן ברמה של מודלים שנשענים על טקסט.
רץ מקומית, אבל כמה הוא טוב?
העובדה ש-Dessa רץ על מחשב נייד מתקדם רלוונטית לפרטיות, כי השיחה לא חייבת לעבור לשרתים חיצוניים. היא רלוונטית גם לזמן התגובה, שהוא קריטי במודל שאמור לנהל שיחה טבעית. אבל MacBook Pro עם M4 Max הוא מחשב יקר מהשורה העליונה, ולא ברור עדיין אם המודל יעבוד גם על חומרה צנועה יותר.
כאן נמצאת הבעיה המרכזית בהכרזה. Block לא פרסמה את מספר הפרמטרים של המודל, לא תוצאות בנצ'מרקים ולא את המשקולות. בלי משקולות פתוחות חוקרים ומפתחים לא יכולים להריץ את המודל בעצמם, ובלי בנצ'מרקים אין דרך להשוות אותו למודלים אחרים בתחום. בשלב הזה כל טענה על איכות Dessa נשענת על דברי החברה בלבד.
למה זה חשוב
Block, החברה שמאחורי Square ו-Cash App, מוכרת בעיקר מתחום התשלומים. הכניסה שלה לפיתוח מודלי קול מצטרפת לתחרות שהולכת ומתחזקת על ממשקי שיחה קולית טבעיים. הפיתוח הזה עשוי להעיד על כיוון שבו עוזרים קוליים מנהלים שיחה רציפה ופרטית על המכשיר עצמו ולא בענן. אבל עד ש-Block תפרסם נתונים שאפשר לבדוק, Dessa היא בעיקר הדגמה של כיוון מחקרי, ועדיין לא מוצר שאפשר להעריך.