חוקרים מתל אביב ומסטנפורד: מודל AI שאומן על חומרים שיצר בעצמו, בלי מידע מהעולם האמיתי
לפי דיווח ב-ynet, חוקרים מאוניברסיטת תל אביב ומסטנפורד אימנו מודל בינה מלאכותית בלי לחשוף אותו לטקסטים, לתמונות או לכל מידע אמיתי. מודל אחד יצר בעצמו את חומרי הלימוד, ומודל שני רכש יכולת חיזוי בתחומים שלא נחשף אליהם. מדובר בהוכחת היתכנות במודלים קטנים, ובינתיים התוצאות מוכרות רק מהדיווח התקשורתי ולא ממאמר מלא.
חוקרים מאוניברסיטת תל אביב ומאוניברסיטת סטנפורד אימנו מודל בינה מלאכותית בלי לחשוף אותו לטקסטים, לתמונות, להקלטות או לכל מידע אחר מהעולם האמיתי. כך דיווח ynet בפרסום ראשון. לפי הדיווח, המערכת יצרה בעצמה את חומרי הלימוד שלה, ובכל זאת שיפרה את יכולת החיזוי שלה בתחומים שלא נחשפה אליהם: שפה, תמונות, מוזיקה וגם רצפים גנטיים.
חשוב לסייג: התיאור מבוסס כרגע על הכתבה בלבד. בחומרים שעמדו לרשותנו אין קישור למאמר המדעי המלא, ולכן אי אפשר לבדוק את פרטי הניסויים, את המדדים או את גודל המודלים. לפני שמסיקים מסקנות רחבות, צריך לקרוא את המאמר עצמו.
איך זה עובד: שני מודלים שמתחילים מאפס
כמעט כל מודל שפה גדול (LLM) מוכר עובר שלב שנקרא pretraining, אימון מקדים: מזינים אותו בכמויות עצומות של ספרים, אתרי אינטרנט, תמונות והקלטות, והוא לומד לזהות בהם דפוסים. השיטה החדשה, שהחוקרים מכנים Zero-Data Pretraining, מוותרת על השלב הזה לגמרי.
לפי ynet, השיטה בנויה כ"משחק גומלין" בין שני מודלים שמתחילים בלי שום ידע. הראשון כותב תוכניות מחשב קצרות שמפיקות רצפים של סימנים. השני מתאמן לחזות את הסימן הבא בכל רצף. המודל הראשון מקבל משוב על המידה שבה התרגילים שלו תרמו ללמידה, ולומד לבחור אתגרים שמתאימים לרמה של המודל הלומד בכל שלב.
המחקר נערך בהנחיית ד"ר יואב לוין מבית הספר למדעי המחשב באוניברסיטת תל אביב, במסגרת הפוסט-דוקטורט של ד"ר כפיר דולב, יחד עם שותפים מסטנפורד.
מה נמצא
לפי הדיווח, אחרי האימון המודל השני הצליח לחזות ולהסיק מידע בתחומים שלא התאמן עליהם: טקסט, תמונות, צלילים, מוזיקה, קוד ורצפי DNA. ככל שהחוקרים הקצו לתהליך יותר משאבי חישוב, יכולת החיזוי השתפרה בעקביות בתחומים רבים. המודל גם הצליח להסיק כללים מדוגמאות שהוצגו לו בזמן הבדיקה, בלי אימון נוסף.
ממצא מעניין נוגע לחומרי הלימוד שהמערכת ייצרה לעצמה: הופיעו בהם דפוסים מתמטיים מוכרים, ובהם סדרת פיבונאצ'י. ככל הנראה המשמעות היא שהמודל היוצר למד לבנות רצפים עם מבנה ברור, שהמודל הלומד יכול להפיק מהם תועלת. בניסוי נוסף נמצא שאימון מקדים בשיטה הזאת עזר למודל ללמוד מהר יותר כשנחשף אחר כך לנתונים אמיתיים.
"במשך שנים ההנחה השולטת הייתה שכדי שמודל בינה מלאכותית ילמד משהו מועיל, צריך קודם להזין אותו בכמויות גדולות של מידע מן העולם", אמר לוין ל-ynet. "במחקר הזה הפרכנו את ההנחה הבסיסית הזו".
למה זה חשוב, ומה עדיין לא ידוע
המחקר מגיע בזמן שבו תעשיית ה-AI מתקרבת, לפי הכתבה, למיצוי הנתונים האיכותיים שזמינים לאימון, ומשקיעה יותר ויותר ביצירת נתונים בעזרת כוח חישוב. אם התוצאות יתבררו כנכונות, ייתכן שאפשר יהיה ללמד חלק מיכולות הלמידה הכלליות של מודלים בלי שום נתון אנושי, ולהשאיר את הנתונים האמיתיים לשלב מאוחר יותר.
עם זאת, גם החוקרים מגדירים את התוצאה כהוכחת היתכנות במודלים קטנים. השאלות הגדולות עדיין פתוחות: האם השיטה תעבוד גם במודלי ענק, ואיך משלבים מבנים לוגיים ומתמטיים שהמודל פיתח בעצמו עם ידע עובדתי על העולם. וכאמור, עד שהמאמר המלא יהיה זמין לבדיקה, את הטענות האלה צריך לקרוא כדיווח ראשוני.