רווליוט בונה מחדש את מערכות הטכנולוגיה שלה סביב מודל יסוד אחד בשם PRAGMA
לפי פוסט של אנבידיה מכנס GTC Berlin, הבנק הדיגיטלי רווליוט בונה מחדש את הסטאק הטכנולוגי שלו סביב מודל יסוד אחד בשם PRAGMA. המודל רץ כבר בייצור ומשרת בשלב ראשון 80 מיליון לקוחות. המספרים מגיעים מאנבידיה ולא אומתו מול רווליוט.
הבנק הדיגיטלי רווליוט בונה מחדש את מערכות הטכנולוגיה שלו סביב מודל יסוד (foundation model) אחד בשם PRAGMA. כך עולה מפוסט שפרסמה אנבידיה לרגל כנס GTC Berlin, שסוקר כיצד בנקים וחברות תשלומים באירופה משתמשים בבינה מלאכותית. לפי אנבידיה, PRAGMA כבר פועל בסביבת ייצור, משרת בשלב ראשון 80 מיליון לקוחות ותוכנן כך שיוכל לגדול פי שלושה. חשוב לציין שכל הנתונים מגיעים מאנבידיה, שהיא גם ספקית החומרה של הפרויקט, ולא אומתו מול רווליוט באופן עצמאי.
מה ידוע על PRAGMA
לפי הפוסט, רווליוט מרחיבה את השימוש ב-PRAGMA בייצור על גבי מעבדים גרפיים מסדרת Blackwell Ultra של אנבידיה. היא נעזרת בשני רכיבי תוכנה של החברה: cuDF, ספרייה לעיבוד נתונים מהיר על גבי GPU, ו-Dynamo-Triton, תוכנה להרצת מודלים בייצור (inference). אנבידיה לא מפרטת מה גודל המודל, על אילו נתונים בדיוק אומן ואילו מערכות בבנק הוא מחליף בפועל.
ראש תחום ה-AI ברווליוט, פאבל נסטרוב, מצוטט בפוסט: "רווליוט מעבדת מיליארדי עסקאות. ההזדמנות הייתה שם תמיד, אבל השאלה הייתה אם מודלי יסוד יכולים לפעול בהיקף כזה ולרוחב תחומים שונים. PRAGMA עונה על השאלה הזו". לדבריו, המודל, שנבנה בשיתוף אנבידיה, הוא "ההוכחה הברורה ביותר עד כה" שאפשר לסגור את הפער בין פריצת דרך מחקרית לבין מערכת בנקאית שפועלת בייצור.
מודל אחד במקום הרבה מודלים קטנים
הפרט שמעניין בסיפור הוא דווקא הארכיטקטורה. במוסדות פיננסיים נהוג להפעיל מודלים נפרדים למשימות שונות, למשל לזיהוי הונאות, להערכת סיכוני אשראי ולהמלצות ללקוחות. כל מודל מאומן, מתוחזק ומנוטר בנפרד. ככל הנראה, הרעיון מאחורי מודל יסוד אחד הוא ללמוד ייצוג כללי של נתוני העסקאות ולהשתמש בו בכמה תחומים במקביל. זו גם המשמעות של "לרוחב תחומים" בציטוט של נסטרוב. אם הגישה תעבוד בהיקף שאנבידיה מתארת, היא עשויה לפשט את התחזוקה, אבל היא גם מרכזת את הסיכון במערכת אחת.
רווליוט אינה היחידה. לפי אותו פוסט, Lloyds Banking Group בנתה מודל יסוד לעסקאות בשם ATUM, שהופך מיליארדי עסקאות בנקאיות ל"אינטליגנציה רב-פעמית" לשימושים ברחבי הבנק. Starling Bank פיתח את "Starling Intelligence" על ענן בריטי של Civo, על בסיס נתוני העסקאות של הבנק עצמו. Santander משתמש במשפחת מודלי Kumo החדשה של אנבידיה, מודלים פתוחים לנתונים פיננסיים מובנים.
הקשר רחב: מודלים פתוחים ונתונים בבית
המסר המרכזי של אנבידיה בפוסט הוא שמוסדות פיננסיים באירופה עוברים למודלים עם משקולות פתוחות (open weight), שאותם הם מריצים על תשתית משלהם. כך הם בונים יכולות קנייניות על נתונים שבבעלותם. כדוגמה, הניאובנק bunq מדווח שהעוזר Finn, שעבר למודלים פתוחים, משיג איכות דומה לזו של מודלים סגורים מובילים ב-60% מהעלות לכל תשובה. Stripe מדווחת על צנרת נתונים מהירה פי 42 וחיסכון של 92% בעלויות במערכת זיהוי ההונאות Radar, במבחנים לא מקוונים.
למה זה חשוב
המשמעות, ככל הנראה, היא שבנקים גדולים כבר לא מסתפקים בצ'טבוטים שמבוססים על מודלי שפה של אחרים. הם בונים מודלים משלהם על נתוני העסקאות, שהם הנכס היקר ביותר שלהם. עם זאת, צריך לזכור שמדובר בפוסט שיווקי של ספקית השבבים. עד שרווליוט תפרסם בעצמה פרטים על PRAGMA, כמו ביצועים, תחומי שימוש ואופן הפיקוח, קשה להעריך עד כמה המודל באמת מחליף את המערכות הקיימות.