Mirendil משיקה את Fern 0.1, המודל הראשון שלה, עם חלון הקשר של 10 מיליון טוקנים

הסטארטאפ Mirendil השיק את Fern 0.1, המודל הראשון שלו. מה שמייחד אותו הוא חלון ההקשר (context window): 10 מיליון טוקנים. לפי הדיווח ב-MarkTechPost, המודל אומן מאפס (pretrained from scratch) עם החלון הזה כבר מתחילת הדרך, והוא מיועד בעיקר לעבודת מחקר ופיתוח של סוכני AI. נראה שהחברה לא מציגה אותו כמודל שמתחרה ראש בראש בענקיות התחום. לפי אותו דיווח, בקודינג אג'נטי, כלומר משימות תכנות שבהן המודל פועל באופן עצמאי לאורך כמה צעדים, Fern 0.1 עדיין מפגר אחרי מודלי החזית.

מה זה חלון הקשר, ולמה 10 מיליון זה הרבה

חלון ההקשר הוא כמות הטקסט שמודל שפה (LLM) מסוגל "להחזיק בראש" בבת אחת: ההוראות, המסמכים שהוזנו לו, היסטוריית השיחה והקוד שהוא קורא. טוקן הוא יחידת טקסט קטנה, בערך מילה או חלק ממילה. בחלון של 10 מיליון טוקנים אפשר תיאורטית להכניס מאגר קוד שלם וגדול, ארכיון ארוך של מסמכים, או רישום מלא של אלפי פעולות שסוכן AI ביצע.

הנתון שבולט בדיווח הוא האופן שבו הושג החלון הזה. מודלים רבים מקבלים חלון הקשר ארוך רק בשלב מאוחר, באמצעות הרחבה של מודל שאומן מלכתחילה על קטעים קצרים יותר. Mirendil בחרה לאמן את Fern מאפס. ככל הנראה ההימור הוא שמודל שלמד מההתחלה לעבוד עם רצפים ארוכים מאוד יתמודד איתם טוב יותר.

מבחן המחט: ציון מלא, עם הסתייגות

לפי הדיווח, Fern 0.1 השיג 100% במבחן RULER single needle באורך של 10 מיליון טוקנים. RULER הוא benchmark (מבחן השוואתי) שבודק עד כמה מודלים באמת מנצלים הקשר ארוך. בגרסת ה-"single needle" מטמינים פרט מידע אחד בתוך כמות עצומה של טקסט ובודקים אם המודל מצליח לשלוף אותו. זו גרסה של מבחן "מחט בערימת שחת" המוכר.

צריך לקרוא את הנתון הזה בזהירות. מציאת מחט אחת היא הגרסה הבסיסית של המבחן. היא מוכיחה שהמודל מסוגל לאתר מידע בכל נקודה בחלון, אבל לא בהכרח שהוא מסוגל להצליב ולנתח פרטים רבים שמפוזרים לאורך מיליוני טוקנים. ככל הנראה, השאלה המעשית היא כמה טוב המודל מסיק מסקנות מתוך כל ההקשר, ולא רק עד כמה הוא זוכר.

למה זה חשוב

הבחירה להתמקד במחקר על סוכני AI אינה מקרית. סוכנים שפועלים לאורך זמן צוברים כמויות גדולות של מידע: תוצאות של כלים, קבצים שנקראו, ניסיונות שנכשלו. כשחלון ההקשר מתמלא, המפתחים נאלצים לסכם, לקצץ או לנהל זיכרון חיצוני, וכל אחת מהשיטות האלה עלולה לאבד מידע. מודל עם חלון של 10 מיליון טוקנים יכול לשמש בסיס לניסויים שבהם הסוכן פשוט "זוכר הכול".

עם זאת, הפער בקודינג אג'נטי מראה שחלון הקשר ארוך לבדו לא מספיק. היכולת לתכנן, להשתמש בכלים ולתקן שגיאות היא יכולת נפרדת, ובה מודלי החזית עדיין מובילים. המשמעות היא ככל הנראה ש-Fern 0.1 ישמש בשלב זה בעיקר כפלטפורמת מחקר, ולא כתחליף לכלי הקוד המסחריים. מספר הגרסה 0.1 מרמז שהחברה עצמה רואה בו נקודת התחלה. מה שיקבע אם הכיוון הזה יחזיק הוא האם הגרסאות הבאות יצליחו לסגור את הפער ביכולות האג'נטיות בלי לוותר על אורך ההקשר.