Box משלבת את Nemotron של אנבידיה במערכת חדשה לאחזור תוכן עבור סוכני AI

Box, חברת ניהול התוכן הארגוני, הציגה ביום חמישי בכנס המפתחים שלה יכולת חדשה בשם Box Content Retrieval, שמטמיעה את מערכת ה-embedding של Nemotron מבית אנבידיה בליבת המוצר. לפי הדיווח ב-TechCrunch, המערכת מאפשרת לסוכני AI לענות על שאילתות בעזרת מטא-דאטה שנוצר מראש על ידי Nemotron. Box מבטיחה ללקוחותיה שאילתות מהירות, מדויקות וזולות יותר.

את המספרים מספקת דווקא השותפה הטכנולוגית: קארי בריסקי, סגנית נשיא לתוכנת בינה מלאכותית יוצרת באנבידיה, אמרה ל-TechCrunch שהיא צופה מענה מהיר פי ארבעה, עם 20% פחות שגיאות ו-90% פחות טוקנים, יחידות הטקסט שמודלי שפה מעבדים. אלה הערכות של הספקית. הכתבה אינה מפרטת על אילו בדיקות הן נשענות או מהי נקודת ההשוואה. המערכת תהיה זמינה לכל לקוחות Enterprise Advance של Box, בפריסה שתחל בתחילת השנה הבאה.

מה המערכת עושה בפועל

מודל embedding הופך טקסט לייצוג מספרי שמבטא את משמעותו, ובכך מאפשר לחפש לפי תוכן ולא רק לפי מילים זהות. במקום שהסוכן יעבור על מסמכים שלמים, העיבוד נעשה מראש, ובזמן השאילתה נשלפים רק הקטעים הרלוונטיים.

"זה משפר מאוד את הרלוונטיות של טכנולוגיית החיפוש שלנו עבור סוכנים", אמר מנכ"ל Box, ארון לֵוִי. "במקום שסוכן יצטרך לקרוא כל מסמך, אנחנו יכולים להחזיר קטעים מהמסמכים, אלה שהכי רלוונטיים לשאילתה של המשתמש או למשימה שהסוכן מבצע".

כאן ככל הנראה נעוץ גם ההסבר לחיסכון הצפוי בטוקנים: כשהסוכן מקבל קטעים ממוקדים במקום מסמכים מלאים, הוא מעבד הרבה פחות טקסט.

הדוגמה ש-Box בוחרת להציג היא עורכי דין, שאמורים לאתר בקלות רבה יותר סעיפים ותקדימים רלוונטיים. מאחר שה-embeddings של Nemotron ממפים מושגים ולא רק מילות מפתח, כלי חיפוש יכול להציף נושאים משפטיים קשורים גם כשהם מנוסחים אחרת או כתובים בשפה אחרת. לדברי Box, המערכת תועיל במיוחד בשילוב עם סוכנים פעילים.

הזירה שהמעבדות הגדולות הזניחו

Box Content Retrieval היא יישום של פרויקט Nemotron Embed, שמציע מודלי embedding עם open weights, כלומר משקולות זמינות לציבור, לשיפור מערכות אחזור אוטומטיות. לפי TechCrunch, מעבדות ה-AI הגדולות נטו לא פעם להתעלם ממודלים מהסוג הזה, שמשתמשים ב-LLM כדי לעבד נתונים מראש ולהכשיר אותם לשימוש של סוכנים. אנבידיה, לעומתן, ממקדת בתחום הזה חלק ממאמציה בפרויקט המודלים הפתוחים שלה, וגרסת Nemotron שיצאה ביולי הגיעה למקום הראשון במדד RTEB, שבוחן את איכות האחזור.

למה זה חשוב

המודלים של Nemotron זמינים בחינם, אבל זה לא אומר שכל אחד יכול לבנות מערכת כזו בקלות. המערכת נשענת במידה רבה על המטא-דאטה ועל בקרות ההרשאות שכבר קיימים ב-Box, ולכן יהיה קשה לשחזר אותה מאפס. "אנחנו כנראה דוחסים כאן חמש טכנולוגיות שונות לתוך API פשוט אחד", אמר לוי ל-TechCrunch.

המשמעות, ככל הנראה, היא שבעולם של סוכנים היתרון של חברות תוכן ארגוני אינו בהכרח המודל עצמו, אלא השכבה שסביבו: הנתונים המאורגנים והידיעה מי רשאי לראות מה. עבור אנבידיה, שיתוף הפעולה הוא דוגמה לשימוש מסחרי במודלים הפתוחים שלה אצל לקוח ארגוני. המבחן האמיתי יגיע עם הפריסה בשנה הבאה, כשיתברר אם המספרים שמסרה אנבידיה עומדים גם בעומס העבודה של ארגונים בפועל.