Revolut מדווחת: עלויות הקידוד עם AI ירדו פי 10 אחרי שהפכה מודל באירוח עצמי לברירת המחדל במקום Claude
לפי The Register, הפינטק הבריטי Revolut הוריד בתוך פחות משנה את עלויות ה-inference של כלי הקידוד שלו בכ-90%. הוא עשה זאת כשהפך מודל open weights סיני באירוח עצמי, GLM, לברירת המחדל במקום שירותים מסחריים כמו Claude. את הנתונים הציג בכנס מנהל בחברה, והם לא אומתו באופן עצמאי.
חברת הפינטק הבריטית Revolut מדווחת שבתוך פחות משנה הורידה בכ-90% את עלויות ה-inference (הרצת המודל בפועל) של כלי הקידוד מבוססי ה-AI שלה. לפי דיווח ב-The Register, החיסכון הגיע כשהחברה הפכה מודלים שהיא מריצה על השרתים שלה לברירת המחדל, במקום להסתמך בעיקר על שירותים מסחריים כמו Claude של אנתרופיק. הנתונים מבוססים על דברים שאמר מנהל בחברה בכנס, ולא אומתו באופן עצמאי.
מתקציב מוגבל לטוקנים "בלי הגבלה"
את הנתונים הציג דייוויד אביטבול, מוביל התפעול והתשתיות ב-Revolut, בכנס AI Engineer בניו יורק בחודש שעבר. לדבריו, אחרי שכלי קידוד מבוססי AI הוטמעו אצל כ-2,000 מהנדסים, נרשם שיפור של 60% בזמן הקידוד ושל 70% ב-lead time, הזמן מתחילת המשימה ועד שהיא נמסרת.
החברה לא התחילה ממודלים פתוחים. לפי הדיווח, בתחילת 2025 היא הטמיעה את Gemini של גוגל, ובתחילת 2026 את Claude Code. "היינו סקפטיים מאוד לגבי העלות של AI. ראינו מהנדסים שמוציאים 1,000 דולר בחודש, 10,000 דולר בחודש, בלי החזר השקעה של ממש", אמר אביטבול. לכן הכלים הושקו עם מגבלות תקציב קשיחות, והמהנדסים קיבלו מכסת טוקנים מוגבלת.
המגבלה הזו הובילה את החברה לבדוק אירוח עצמי. לפי The Register, הרצת GLM-5.1 על תשתית החברה עלתה כ-0.30 דולר למיליון טוקנים של קלט ופלט, בערך עשירית מהעלות של Codex של OpenAI או של Claude Code. היום Revolut מריצה את הגרסה החדשה, GLM-5.3, על 56 מעבדי B200 של אנבידיה, מספר מעבדים ששווה לזה של שבע מערכות DGX B200 של שמונה מעבדים כל אחת.
לפי אביטבול, השיפור הגדול ביותר לא היה בכתיבת הקוד עצמה. הוא הגיע מכך שהמודלים קיבלו משימות כמו דיבאגינג וטיפול בכרטיסים ב-Jira וב-Confluence. "כשיש לך טוקנים בלי הגבלה, אתה חופשי לעשות את זה", אמר. "אתה כבר לא צריך לחסוך טוקנים לסוף הרבעון או למשימה הכי קשה".
מודל גדול, הרבה כוונון
את GLM מפתחת Z.ai, חברה סינית שמפרסמת מודלי open weights, כלומר מודלים שמשקולותיהם זמינים להורדה ולהרצה עצמית. לפי הדיווח, ל-GLM-5.1 יש כ-754 מיליארד פרמטרים, ש-40 מיליארד מהם פעילים בכל טוקן. רק כדי להחזיק את המשקולות שלו צריך כ-380GB של זיכרון GPU, ועוד 6 עד 26GB לכל משתמש, תלוי ברמת הדיוק.
אביטבול אמר שהשיפור הגדול בביצועים לא הגיע מהוספת מעבדים. הוא הגיע מכוונון של ההיפר-פרמטרים, ממעבר לקוונטיזציה (דחיסת המודל) בפורמט NVFP4, מהפרדה בין שלב עיבוד הקלט (prefill) לשלב יצירת הפלט (decode), ומכוונון של אורך חלון ההקשר. "הקשר ארוך זו הונאה", אמר. "גם אם אפשר לשרת מיליון טוקנים, 256 אלף זה מה שבאמת צריך".
לדבריו, החברה הגיעה לפחות משלוש שניות עד הטוקן הראשון בחלון הקשר של כ-256 אלף טוקנים, ולמהירות של כ-200 טוקנים בשנייה. "ברגע שעוברים חמש שניות, תיבת ה-Slack שלי מתפוצצת", אמר. לדבריו, המהנדסים כבר לא צופים בפלט בזמן אמת. הם מריצים כמה משימות במקביל וחוזרים כשהן מסתיימות. מי שמתחבר אחרי חמש אחר הצהריים מקבל קרוב ל-800 טוקנים בשנייה.
עם זאת, GLM לא החליף את המודלים המסחריים לגמרי. הוא תומך בטקסט בלבד, ולכן פחות מתאים לעבודה על ממשקי משתמש. Revolut משתמשת ב-model router, רכיב שמנתב כל בקשה למודל המתאים: שאילתות עם תמונות עוברות למודלים כמו Gemini או GPT Luna, ויצירת הקוד נשארת ב-GLM.
למה זה חשוב
"קוד פתוח הוא עכשיו עדיפות ב-Revolut, והכלכלה לטובתנו", אמר אביטבול. "החיוב קבוע, אין הלם בחשבון בסוף החודש, ומודלי החזית הם החריג".
ככל הנראה, המקרה של Revolut ממחיש שאלה שארגונים גדולים מתחילים לשאול: האם התמחור לפי טוקן של מודלי החזית מצדיק את עצמו בשימוש יומיומי בהיקף רחב. עם זאת, החיסכון דורש השקעה מראש בחומרה יקרה ומומחיות פנימית בהפעלת מודלים, שלא לכל חברה יש. גם ההשוואה של "פי 10" היא נתון של החברה עצמה, שהוצג בכנס ולא נבדק באופן עצמאי.