ERNIE Evolve של באידו: מערכת מחקר אוטומטית ששברה שיאים ב-NanoChat וב-NanoGPT

ענקית הטכנולוגיה הסינית באידו חשפה את ERNIE Evolve, מערכת מחקר אוטומטית שמבצעת בעצמה חלק ניכר מהעבודה של חוקר למידת מכונה: היא עורכת קוד, מריצה ניסויים ושומרת רק את השיפורים שאומתו. לפי הדיווח באתר MarkTechPost, המערכת עקפה את השיאים הציבוריים הקיימים בשני אתגרים מוכרים לאימון מודלים קטנים, NanoChat ו-NanoGPT Speedrun. בנוסף היא האיצה את ההסקה (inference, שלב הפעלת המודל ומתן התשובות) של מודל השפה ERNIE-5.5-Flash של החברה.

איך זה עובד

הרעיון שמאחורי ERNIE Evolve פשוט לתיאור וקשה לביצוע. במקום שחוקר אנושי ינסח השערה, ישנה את הקוד, יריץ ניסוי וישווה תוצאות, המערכת מבצעת את המחזור הזה בעצמה. לפי הדיווח, העיקרון המרכזי הוא שהיא שומרת רק "רווחים מאומתים": שינוי בקוד נכנס לגרסה הבאה רק אם הוכח בניסוי שהוא אכן משפר את התוצאה.

המנגנון הזה חשוב, ככל הנראה, משום שמערכות אוטומטיות שמבוססות על LLM נוטות לייצר הצעות שנשמעות סבירות ובפועל לא עובדות. שער אימות קשיח מסנן את הרעש, ובאופן עקרוני מאפשר למערכת לצבור שיפורים קטנים לאורך זמן בלי לחזור אחורה.

למה דווקא NanoChat ו-NanoGPT

NanoGPT ו-NanoChat הם פרויקטים בקוד פתוח (open source) של החוקר אנדריי קרפתי, שנועדו לאמן מודלי שפה קטנים בקוד פשוט ונגיש. סביב NanoGPT התפתח "Speedrun": תחרות קהילתית פתוחה שבה מפתחים מתחרים מי יגיע לאיכות מודל מוגדרת בזמן האימון הקצר ביותר. השיאים בתחרויות כאלה ציבוריים ומתועדים, ולכן הם מדד נוח ושקוף לבדיקה אם מערכת אוטומטית מסוגלת להתחרות במהנדסים אנושיים.

במקור לא מפורטים היקף השיפור, זמני האימון החדשים או שיעור ההאצה של ERNIE-5.5-Flash, ולכן קשה כרגע להעריך את גודל ההישג.

המשמעות

נראה שההישג הכפול של ERNIE Evolve, שיאים בתחרויות ציבוריות לצד שיפור במוצר פנימי, נועד להראות שהגישה מתאימה גם לניסויים במעבדה וגם לעבודה הנדסית אמיתית. האצת ההסקה של מודל מסחרי מתורגמת בדרך כלל לחיסכון בעלויות מחשוב ולתשובות מהירות יותר למשתמשים.

בהקשר רחב יותר, ERNIE Evolve מצטרפת למגמה שבה חברות AI מנסות להפוך את מחקר ה-AI עצמו לאוטומטי, כלומר לגרום למודלים לשפר את הקוד שמאמן ומפעיל מודלים אחרים. אם הגישה תוכיח את עצמה בקנה מידה גדול, ייתכן שקצב השיפורים ההנדסיים יגדל, ותפקיד החוקר האנושי יעבור מכתיבת ניסויים להגדרת יעדים ולבקרה. בינתיים מדובר בתוצאות שבאידו מדווחת עליהן, ויהיה מעניין לראות אם הקהילה תשחזר אותן ואם השיאים יעמדו בבדיקה עצמאית.