טנסנט משחררת את WeVisOne-VL: מודל ראייה אחד לזיהוי אובייקטים, OCR, סגמנטציה והפרדת רקע
צוות הראייה הממוחשבת של WeChat בטנסנט שחרר את WeVisOne-VL, מודל שפה-ראייה בקוד פתוח ברישיון Apache 2.0, בגדלים 2B ו-4B. המודל מבצע זיהוי אובייקטים, OCR, ספירה, סגמנטציה ו-alpha matting, משימות שבדרך כלל דורשות כמה מודלים נפרדים.
צוות הראייה הממוחשבת (Vision) של WeChat, אפליקציית המסרים של טנסנט, שחרר את WeVisOne-VL: מודל שפה-ראייה (Vision Language Model, מודל שמקבל תמונה וטקסט ומחזיר תשובה) בקוד פתוח. לפי הדיווח ב-MarkTechPost, המודל זמין בשני גדלים, 2B ו-4B (2 ו-4 מיליארד פרמטרים), ומופץ ברישיון Apache 2.0.
הנקודה המרכזית בהשקה היא האיחוד. WeVisOne-VL מבצע במודל אחד חמש משימות ראייה: זיהוי אובייקטים (detection), זיהוי טקסט בתמונה (OCR), ספירת פריטים, סגמנטציה, כלומר סימון הגבולות המדויקים של כל אובייקט ברמת הפיקסל, ו-alpha matting, הפרדה עדינה של דמות או חפץ מהרקע.
מה זה alpha matting, ולמה הוא קשה
סגמנטציה רגילה מחליטה על כל פיקסל אם הוא שייך לאובייקט או לא. alpha matting מחשב לכל פיקסל גם מידת שקיפות. ההבדל מורגש בשיער, בפרווה, בבד דק או בקצוות מטושטשים, שם פיקסל אחד יכול להיות חצי דמות וחצי רקע. זו הטכנולוגיה שמאחורי הסרת רקע איכותית בעריכת תמונות ווידאו, ובדרך כלל היא נעשית במודלים ייעודיים.
כדי להפיק פלטים ברמת הפיקסל, כמו מסכות סגמנטציה ו-matting, המודל משתמש ב-pixel decoder, רכיב שמתרגם את מה שהמודל "הבין" על התמונה למפה מדויקת של פיקסלים. לפי MarkTechPost, לרכיב הזה יש 9.6 מיליון פרמטרים בלבד. ככל הנראה המשמעות היא שרוב העבודה נעשית במודל השפה-ראייה עצמו, והרכיב הנוסף מוסיף מעט מאוד משקל.
למה זה מעניין מפתחים
עד היום, מוצר שהיה צריך לקרוא טקסט מקבלה, לספור פריטים על מדף ולהפריד מוצר מהרקע נשען בדרך כלל על כמה מודלים נפרדים. לכל אחד מהם יש תלויות, דרישות חומרה ותחזוקה משלו. מודל מאוחד יכול, לפחות בתיאוריה, לפשט את הצנרת הזאת: מודל אחד לטעינה, ממשק אחד לתחזוקה, וגישה דרך הנחיות בשפה טבעית במקום ממשק שונה לכל משימה.
גם הגדלים הקטנים חשובים. מודלים של 2B ו-4B פרמטרים קטנים בהרבה מרוב מודלי הדגל הרב-מודליים, ולכן סביר שיתאימו להרצה על חומרה צנועה יחסית ואולי גם על מכשירי קצה. זו הערכה; השאלה כמה זיכרון ומהירות נדרשים בפועל תלויה במבחנים עצמאיים.
רישיון Apache 2.0 הוא אחד הרישיונות המתירניים בעולם הקוד הפתוח, ומאפשר גם שימוש מסחרי ושינוי של הקוד. בכך WeVisOne-VL מצטרף לשורה של מודלים פתוחים מחברות טכנולוגיה סיניות, ובהן עליבאבא עם משפחת Qwen, שמתחרות על תשומת הלב של קהילת המפתחים.
מה עוד לא ידוע
חומרי המקור אינם כוללים פרטים על ביצועים מול מודלים ייעודיים בכל אחת מהמשימות. זה המבחן המרכזי של כל מודל "הכול באחד": האם האיחוד בא על חשבון הדיוק בכל משימה בנפרד. עד שיתפרסמו השוואות עצמאיות, ההחלטה אם להחליף כמה מודלים ייעודיים ב-WeVisOne-VL תצטרך להתבסס על ניסויים של המפתחים עצמם.