מס הטוקנים: כתיבה בעברית למודלי AI עולה עד פי 3 יותר מאשר באנגלית

מי שעובד עם מודלי שפה בעברית משלם יותר על אותה עבודה. דוח של קבוצת המחקר CLEAR בדק את תופעת "מס הטוקנים", ומצא שבמודל Llama 3.3 של מטא, עיבוד טקסט בעברית עולה פי 3 מעיבוד טקסט באנגלית, שהיא השפה הזולה ביותר במחקר.

מה זה טוקן, ולמה זה עולה כסף

מודלי שפה גדולים (LLM) לא קוראים מילים כמו בני אדם. לפני העיבוד הם מפרקים את הטקסט ליחידות קטנות שנקראות טוקנים, ובמקרים רבים מילה אחת מתפרקת לכמה טוקנים. הרכיב שמבצע את הפירוק נקרא טוקנייזר. מעבדות ה-AI גם מתמחרות את השירותים שלהן לפי טוקנים, כך שכל טוקן נוסף נכנס לחשבון, גם בצ'אט וגם בשימוש דרך API.

לפי החוקרים, הטוקנייזרים אומנו בעיקר על אנגלית ועל שפות שנכתבות באותיות לטיניות, ולכן הם מטפלים פחות טוב בשפות אחרות. בפועל, אותו משפט עם אותה משמעות מתפרק ליותר טוקנים כשהוא כתוב בשפה אחרת, והמשתמש משלם יותר.

200 שפות, פערים של עד פי 17

החוקרים בדקו כמה יעילה הטוקניזציה של המודלים המובילים ב-200 שפות. ב-20 השפות הנפוצות ביותר ברשת הפערים יחסית מתונים, אבל בשאר השפות הם מגיעים לפי 17. באמהרית, לדוגמה, טקסט עשוי לצרוך פי שישה יותר טוקנים מאשר באנגלית במודל כמו GPT-5.

העברית נמצאת במקום 32 בדירוג הנוכחות הדיגיטלית, ובכל זאת חלק מהטוקנייזרים מטפלים בה בצורה לא יעילה. Llama 3.3 הוא הדוגמה הבולטת שמופיעה בדוח.

גם בציון הכולל רוב המודלים הגדולים לא בלטו לטובה. Gemini 3.8 Flash ו-Gemma 4 של גוגל קיבלו ציון סביר יחסית. GPT-5 של OpenAI ו-Command A+ של Cohere קיבלו ציון נכשל, עם פערי עלויות של כמעט פי 14. רק מודל אחד קיבל את הציון המקסימלי: NLLB של מטא, מודל ייעודי לתרגום.

מה זה אומר למי שעובד בעברית

המחיר הוא לא הבעיה היחידה. לפי הדוח, יותר טוקנים פירושם גם זמני תגובה ארוכים יותר ופגיעה בחלון הקונטקסט, כלומר בכמות הטקסט שהמודל יכול להחזיק בבת אחת. כשהחלון מתמלא, המודל עלול להתחיל לאבד מידע ולהזות.

לעסק ישראלי שמריץ צ'טבוט שירות, מסכם מסמכים או מעבד פניות לקוחות בעברית, המשמעות היא ככל הנראה עלות גבוהה יותר לכל פעולה, מסמכים ארוכים שנכנסים פחות טוב למודל ותגובות איטיות יותר. בהיקפים גדולים הפער מצטבר, והוא עשוי להפוך לשיקול של ממש בבחירת מודל. מבחינה כלכלית, אולי הממצא החשוב ביותר הוא שהפערים בין המודלים גדולים. ההערכה היא שכדאי למפתחים ישראלים לבדוק כמה טוקנים צורך הטקסט שלהם בפועל בכל מודל, ולא להסתפק במחיר שמופיע במחירון.

גיקטיים סיכמו את המחקר בהמלצה "תעברו לאנגלית". זה אולי פתרון מעשי לחלק מהמשימות, אבל לא לשירותים שפונים לקהל ישראלי וחייבים לעבוד בעברית.

הפתרון לפי החוקרים

החוקרים טוענים שמדובר בבחירה הנדסית שאפשר לתקן. עד שמעבדות הפיתוח ישנו את הארכיטקטורה של המודלים, הם מציעים פתרון מהיר: תמחור לפי תווים במקום לפי טוקנים. לדבריהם, צעד כזה יבטל מיד את האפליה הכלכלית בין השפות ויאפשר תחרות הוגנת יותר. בינתיים אין בדוח סימן לכך שספקיות המודלים מתכוונות לשנות את שיטת התמחור.