חוקר טוען: שיטת אימון חדשה תאפשר לאמן מודלי שפה גדולים על כרטיס מסך לגיימרים

חוקר בינה מלאכותית טוען שפיתח שיטת אימון שמקטינה מאוד את כמות הזיכרון הדרושה לאימון מודלי שפה גדולים (LLM). בפוסט שפרסם הוא כותב שבעזרתה אפשר לאמן מודל בגודל 27 מיליארד פרמטרים (27B) על כרטיס מסך לגיימרים מסוג RTX 3090, שיש בו 24GB של זיכרון גרפי (VRAM). אלה טענות של החוקר עצמו, ואף גורם חיצוני עדיין לא אימת אותן. גם הוא מסייג כבר בשורה הראשונה: כדי שמודל כזה יהיה טוב, צריך להעביר דרכו "מאות מיליארדי טוקנים".

מה בדיוק נטען

לפי החוקר, הוא עובד על optimizer, כלומר האלגוריתם שמעדכן את משקלי המודל במהלך האימון, שלא צריך את כ-16 הבייטים של VRAM לכל משקל שדורש AdamW. AdamW הוא ה-optimizer הנפוץ כיום באימון מודלי שפה. ככלל, הזיכרון הזה משמש לא רק לאחסון המשקלים עצמם. הוא מחזיק גם את הגרדיאנטים (כיוון התיקון של כל משקל) ושני ערכי עזר ש-AdamW שומר לכל פרמטר.

חישוב פשוט ממחיש את גודל הבעיה. לפי 16 בייטים למשקל, מודל בגודל 27B צריך מאות ג'יגה-בייטים של זיכרון, הרבה יותר מ-24GB שיש בכרטיס אחד לגיימרים.

החוקר מוסיף שהוא מתמקד באימון רשתות טרנאריות (ternary), שבהן כל משקל יכול לקבל רק אחד משלושה ערכים, בדרך כלל ‎-1, 0 או 1. לדבריו הוא בחר בכיוון הזה כי עבודת BitNet של Ma ושותפיו הראתה שרשתות כאלה משתוות לרשתות בדיוק מלא. הוא מפנה למאגרי קוד ולמאמר עם פרטים נוספים, וכותב שהוא עובד כעת גם על המרה של מודלים קיימים לשיטה שלו.

ההבדל בין להריץ לבין לאמן

עד היום, הדיון על בינה מלאכותית במחשב הביתי עסק בעיקר בהרצת מודלים (inference) ולא באימון שלהם. בתחום הזה ההתקדמות מתועדת היטב. ב-XDA Developers תיארו איך הצליחו להריץ את Qwen3.6-35B-A3B של עליבאבא על RTX 3080 Ti עם 12GB בלבד, ביותר מ-20 טוקנים בשנייה. הם עשו זאת בעזרת העברה של ה"מומחים" שבשימוש פחות תכוף במודל מסוג mixture-of-experts אל זיכרון ה-RAM של המחשב. ב-InfoWorld ציינו שלפי גוגל, גרסה בדחיסת 4 ביט של Gemma 4 12B צריכה 6.7GB של VRAM.

באימון, לעומת זאת, דרישות הזיכרון גבוהות בהרבה, ולכן הוא נשאר עד כה בעיקר בידי חברות עם חוות שרתים. אם הטענות יתבררו כנכונות, ככל הנראה ייפתח פתח קטן לחוקרים עצמאיים ולחובבים לנסות לאמן מודלים בעצמם.

למה כדאי להיזהר

הסייג המרכזי מגיע מהחוקר עצמו. גם אם אפשר להכניס אימון של מודל 27B לכרטיס של 24GB, צריך להעביר דרכו מאות מיליארדי טוקנים. על כרטיס בודד זה יכול לקחת זמן רב מאוד, וככל הנראה זה לא מעשי לרוב המשתמשים. המשמעות היא שבשלב הזה מדובר בעיקר בהישג טכני ובכיוון מחקרי, ולא בכלי מוכן לשימוש.

בנוסף, הטענות לא עברו ביקורת עמיתים שאנחנו יודעים עליה, ולא נבדקו באופן עצמאי. לא ידוע כמה מהר האימון בפועל ואיך המודלים שיוצאים ממנו מתפקדים בהשוואה למודלים שאומנו בשיטות המקובלות. הכיוון שהחוקר מזכיר, המרה של מודלים קיימים במקום אימון מאפס, עשוי בהערכה זהירה להיות המעשי יותר, אבל גם כאן אין עדיין תוצאות שפורסמו ונבדקו.