אנבידיה מעדכנת את מודלי החיפוש שלה: Nemotron 3.5 Embed, Rerank ו-Parse

אנבידיה העלתה ל-Hugging Face גרסה חדשה של מודלי השליפה (retrieval) שלה, תחת השם Nemotron 3.5. הסדרה כוללת שלושה סוגי מודלים: Embed, Rerank ו-Parse. החברה מתארת אותם כ"מודלי שליפה פתוחים ומוכנים לייצור, שנבנו עבור RAG ארגוני ברמת דיוק גבוהה ועבור צנרות שליפה של סוכנים". כך נכתב באוסף המודלים של אנבידיה ב-Hugging Face, שכולל חמישה פריטים.

לצד המודלים פרסמה החברה פוסט בשם "NVIDIA Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models". הכותרת מראה שאנבידיה ממקמת את הסדרה כתשתית לסוכני AI, ולא רק כרכיב במערכת חיפוש רגילה.

מה יש בחבילה

מודל ההטמעה (Embed) מגיע בשני גדלים: Nemotron-3.5-Embed-1B ו-Nemotron-3.5-Embed-8B. שניהם מתפרסמים בפורמט BF16, פורמט מספרי נפוץ להרצת מודלים על כרטיסים גרפיים. בנוסף יש מודל Rerank ומודל חדש בשם Nemotron-3.5-Parse.

פוסט בקהילת r/LocalLLaMA שהפנה לדפי המודלים טוען שמודלי ה-Embed וה-Rerank עודכנו מגרסה 3.0 לגרסה 3.5. בחומרים הרשמיים שבידינו לא מופיעה השוואה לגרסה הקודמת, ולכן זה דיווח שלא אומת. בחומרים גם אין נתוני ביצועים, פרטי רישיון או השוואה למודלים מתחרים.

למה צריך שלושה מודלים

מערכת RAG (קיצור של Retrieval-Augmented Generation) מחברת מודל שפה למאגר מסמכים. לפני שהמודל עונה, המערכת מחפשת במאגר את הקטעים הרלוונטיים ומצרפת אותם לשאלה. בדרך כלל זה קורה בכמה שלבים, ולכל אחד מהמודלים בסדרה יש תפקיד אחר:

• Parse: מפרק מסמכים גולמיים, כמו קובצי PDF, טבלאות ומצגות, לטקסט מסודר שאפשר לאנדקס. בשלב הזה מערכות רבות מאבדות מידע, למשל כשטבלה נקראת כרצף מילים בלי מבנה.
• Embed: הופך כל קטע טקסט לייצוג מספרי (וקטור). כך אפשר למצוא קטעים קרובים במשמעות לשאלה, גם כשאין ביניהם מילים משותפות.
• Rerank: מקבל את רשימת המועמדים שהחיפוש הראשוני מצא ומדרג אותם מחדש. המודל הזה בודק כל זוג של שאלה וקטע לעומק, ולכן הוא איטי יותר אבל מדויק יותר.

שני הגדלים של מודל ה-Embed משקפים פשרה מוכרת. מודל של 1B (מיליארד פרמטרים) זול ומהיר יותר להרצה על מיליוני מסמכים. מודל של 8B כנראה יספק ייצוגים עשירים יותר, אבל ידרוש יותר חומרה.

המשמעות

מודלי הטמעה ודירוג מושכים פחות תשומת לב ממודלי שפה גדולים, אבל הם קובעים במידה רבה אם מערכת RAG תחזיר תשובה נכונה. אם השליפה מביאה את הקטע הלא נכון, גם ה-LLM הטוב ביותר יענה על סמך מידע שגוי.

הבחירה של אנבידיה לפרסם את כל שלבי הצנרת, מפענוח המסמך ועד הדירוג, כמשפחה אחת נראית כניסיון להציע לארגונים פתרון שליפה שלם. זאת במקום שירכיבו אותו מרכיבים של כמה ספקים. ההדגשה של "צנרות שליפה של סוכנים" מרמזת ככל הנראה שהחברה מכוונת לשימוש שבו סוכן AI מריץ חיפושים רבים ברצף. בשימוש כזה כל טעות בשליפה מצטברת.

מפתחים שכבר משתמשים בגרסאות קודמות של מודלי Nemotron לשליפה יכולים למצוא את המודלים החדשים באוסף ב-Hugging Face. כדאי לבדוק בכרטיסי המודלים את תנאי הרישיון ואת נתוני הביצועים לפני שמחליפים מודל במערכת שכבר רצה.