קבוצת AntLing (inclusionAI) פרסמה בקהילת LocalLLaMA שישה checkpoints של מודלי הבסיס Ling-3.0-tiny ו-Ling-3.0-flash, הכוללים את שלבי האימון pre-trained, mid-trained ו-WSM. הצעד מאפשר למפתחים לבחור לא רק את המודל הסופי אלא גם את שלב ההתפתחות שממנו ברצונם להמשיך.
קבוצת הפיתוח AntLing, הפועלת תחת המותג inclusionAI, פרסמה השבוע ב-Hugging Face את משפחת המודלים Ling 3.0, הכוללת שני מודלי בסיס בגדלים קטנים יחסית — Ling-3.0-tiny ו-Ling-3.0-flash. הפרסום עלה לתשומת לב קהילת r/LocalLLaMA בשני פוסטים נפרדים, שבהם צוין כי מדובר במודלים המיועדים להרצה מקומית.
החידוש המרכזי בפרסום אינו רק המודלים עצמם, אלא ההחלטה לשחרר יחד איתם שישה checkpoints — נקודות ביניים שנשמרו במהלך תהליך האימון. לפי הפוסט השני שפורסם בקהילה, הצ'קפוינטים מתפרסים על פני שלושה שלבים עבור כל אחד משני המודלים: שלב האימון המקדים (pre-trained), שלב אימון ביניים (mid-trained), ושלב נוסף המכונה WSM, המתואר במקור כשלב 'WSM-merged' — כלומר שלב שבו משולבים (merged) רכיבי המודל או משקליו. המקורות אינם מפרטים מעבר לכך את מלוא תהליך המיזוג, אך מיקומו ברצף מרמז שמדובר בגרסה מעובדת יותר מהשלבים המוקדמים.
בפרקטיקה, שחרור checkpoints מרובים הוא מהלך פחות נפוץ בהשוואה לפרסום מודל 'סופי' בלבד. ברוב המקרים חברות טכנולוגיה משחררות רק את נקודת הסיום של תהליך האימון, מה שהופך את שלבי הביניים לבלתי נגישים לחלוטין למי שאינו חלק מצוות הפיתוח הפנימי. כאשר checkpoints של שלבים מוקדמים יותר זמינים, מפתחים וחוקרים יכולים לבצע fine-tuning (כיוונון עדין) על גבי שלב שאינו הסופי, לבחון כיצד המודל 'התפתח' בין שלב לשלב, או להתאים אותו למשימות ספציפיות מבלי לעבור דרך כל תהליך האימון המלא מחדש.
העובדה שמדובר במודלים בגדלים 'tiny' ו-'flash' — כלומר קטנים ומהירים יחסית למודלי שפה גדולים סטנדרטיים — מתיישבת עם המגמה הכללית בקהילת LocalLLaMA, שבה משתמשים רבים מחפשים מודלים שניתן להריץ על חומרה ביתית, ולא רק בענן. ככל הנראה, הבחירה לפרסם גם checkpoints של אימון ביניים נועדה להקל דווקא על קהל זה — מפתחים עצמאיים וחוקרים קטנים שאינם בעלי משאבי חישוב נרחבים לאימון מודלים מאפס, ומעוניינים במקום זאת להמשיך אימון מנקודת מוצא קיימת.
המשמעות עבור הקהילה הטכנולוגית היא הרחבה של מרחב האפשרויות הזמין למי שעובד עם מודלים בקוד פתוח: לא רק בחירה בין מודלים שונים, אלא גם בחירה בין שלבי בשלות שונים של אותו מודל. מהלך כזה, אם יאומץ בהמשך גם על ידי גופים נוספים, עשוי לתרום לשקיפות רבה יותר לגבי אופן התפתחותם של מודלי שפה במהלך האימון, ולא רק לגבי תוצרם הסופי.