Cohere משיקה את Rerank 5: מודל דירוג לחיפוש ול-RAG עם חילוץ קטעים וציוני רלוונטיות מכוילים
Cohere השיקה את Rerank 5, מודל דירוג חדש לתוצאות חיפוש, בשתי גרסאות: Pro ו-Fast. המודל תומך בחלון הקשר של 32K טוקנים, ומוסיף יכולת לחלץ את הקטעים הרלוונטיים מתוך מסמך וציוני רלוונטיות מכוילים. גרסת ה-Pro השיגה ציון 82.2 במבחן BRIGHT, ומחירה 0.05 דולר למיליון טוקנים.
חברת ה-AI הקנדית Cohere השיקה את Rerank 5, הדור החדש של מודל הדירוג שלה. המודל נועד לשפר את איכות התוצאות במנועי חיפוש ובמערכות RAG. לפי MarkTechPost, המודל זמין בשתי גרסאות, Pro ו-Fast, עם חלון הקשר של 32K טוקנים. הוא כולל גם יכולת חדשה בשם Context Focus, שמחלצת מתוך מסמך את הקטעים הרלוונטיים, וגם ציוני רלוונטיות מכוילים. גרסת ה-Pro השיגה ציון 82.2 במבחן BRIGHT, ומחירה 0.05 דולר למיליון טוקנים.
מה עושה מודל דירוג
כדי להבין את ההכרזה כדאי להכיר את המקום של מודל דירוג (reranker) במערכת חיפוש. מערכות חיפוש מודרניות פועלות בדרך כלל בשני שלבים. בשלב הראשון שולפים במהירות מאות מסמכים שעשויים להיות רלוונטיים, למשל בחיפוש וקטורי או בחיפוש לפי מילות מפתח. בשלב השני מודל דירוג קורא כל מסמך לצד השאלה, וקובע מחדש את סדר התוצאות לפי מידת הרלוונטיות שלהן.
במערכות RAG (ראשי תיבות של Retrieval-Augmented Generation, כלומר מודל שפה שעונה על בסיס מסמכים שנשלפים עבורו) השלב הזה חשוב במיוחד. מודל השפה מקבל רק את המסמכים שהגיעו לראש הרשימה, ואם הם לא המסמכים הנכונים, ככל הנראה גם התשובה תהיה פחות מדויקת.
החידושים: קטעים במקום מסמכים, וציונים שאפשר לסמוך עליהם
לפי הדיווח, יכולת Context Focus מחלצת קטעים מתוך המסמך. כלומר, המודל לא רק מציין שמסמך מסוים רלוונטי, אלא גם מצביע על החלק בו שרלוונטי לשאלה. המשמעות המעשית היא ככל הנראה שאפשר להעביר למודל השפה קטעים ממוקדים במקום מסמכים שלמים. כך אפשר לחסוך בטוקנים, ואולי גם להפחית את ה"רעש" שמסיח את דעת המודל.
ציוני רלוונטיות מכוילים (calibrated) הם ציונים שאמורים לשקף הסתברות אמיתית, ולא רק לקבוע מה הסדר בין התוצאות. ההבדל הזה חשוב למפתחים: ציון מכויל מאפשר לקבוע סף קבוע, למשל "העבר רק תוצאות שהציון שלהן מעל רמה מסוימת", ולסמוך על כך שהסף יתנהג באופן עקבי גם בשאלות שונות. ככל הנראה זה יקל על בניית מערכות שיודעות להודות שאין להן מקור טוב לשאלה, במקום להעביר למודל השפה תוצאות חלשות.
חלון ההקשר של 32K טוקנים קובע כמה טקסט המודל יכול לקרוא בבת אחת. חלון גדול יותר מאפשר לדרג מסמכים ארוכים בלי לפרק אותם קודם לחתיכות קטנות.
הביצועים והמחיר
BRIGHT הוא מבחן ביצועים לאחזור מידע, שמתמקד בשאלות שדורשות הסקה ולא רק התאמה של מילים. גרסת ה-Pro השיגה בו ציון 82.2. המקור לא מפרט ציון לגרסת ה-Fast, וגם לא משווה את התוצאה לתוצאות של מתחרים. לכן קשה להעריך מתוכו עד כמה הקפיצה משמעותית.
המחיר שדווח לגרסת ה-Pro הוא 0.05 דולר למיליון טוקנים. מהשם אפשר להניח שגרסת ה-Fast מיועדת לתרחישים שבהם מהירות התגובה חשובה יותר, אבל המקור לא מפרט את ההבדלים בין שתי הגרסאות.
למה זה חשוב
Rerank 5 הוא לא מוצר לצרכנים, ורוב המשתמשים לא ייתקלו בו ישירות. הוא כלי תשתית שמיועד למפתחים ולצוותים שבונים חיפוש ארגוני, צ'טבוטים לשירות לקוחות או עוזרים שמבוססים על מסמכים פנימיים. מבחינתם, היכולות החדשות נוגעות לשתי בעיות מוכרות במערכות RAG: עלות הטוקנים, וקביעת סף אמין לרלוונטיות. ההכרזה גם ממחישה את האסטרטגיה של Cohere, שבוחרת להתמקד בשוק הארגוני ובכלים לחיפוש ולאחזור ולא להתחרות ישירות בצ'טבוטים לצרכנים.