מחקר: טכנולוגיית חיסכון הזיכרון של DeepSeek עלולה לפגוע בדיוק המודלים
חוקרים מבייטדאנס, יחד עם שותפים לכתיבה המזוהים עם פרינסטון, סטנפורד וברקלי, מצביעים על פגם אפשרי בטכנולוגיית חיסכון הזיכרון שעליה נשענים מודלי DeepSeek. זהו אתגר נדיר לחידוש שעזר למעבדה הסינית לצמצם את הפער מול OpenAI ואנתרופיק בעלות נמוכה.
מחקר חדש מצביע על פגם אפשרי בטכנולוגיית חיסכון הזיכרון שעליה נשענים המודלים של DeepSeek, מעבדת הבינה המלאכותית הסינית. לפי הדיווח ב-South China Morning Post, הממצאים עלולים להעיד על פגיעה בדיוק של המודלים. זהו אתגר נדיר לחידוש טכנולוגי שסייע ל-DeepSeek לצמצם את הפער מול המתחרות האמריקאיות OpenAI ואנתרופיק, בגישה שמבוססת על עלויות נמוכות.
מי עומד מאחורי המחקר
המאמר פורסם בסוף החודש שעבר. בראשו עמדו חוקרים מבייטדאנס, החברה הסינית שמחזיקה בין השאר ב-TikTok, ולצידם כותבים שותפים המזוהים עם אוניברסיטת פרינסטון, אוניברסיטת סטנפורד ואוניברסיטת קליפורניה בברקלי.
לשילוב הזה יש משמעות משלו. הביקורת לא מגיעה ממתחרה מערבית, אלא בהובלת אחת מענקיות הטכנולוגיה של סין, שמפתחת בעצמה מודלי שפה גדולים (LLM) ומתחרה על אותו שוק מקומי. השתתפותם של חוקרים ממוסדות אקדמיים אמריקאיים מובילים מעניקה לממצאים משקל נוסף, אם כי הם עדיין יצטרכו לעמוד בבדיקה של קהילת המחקר.
למה זיכרון הוא צוואר בקבוק
כדי להבין את החשיבות של הטענה צריך להכיר את אחד האתגרים המרכזיים בהפעלת מודלי שפה. בזמן שמודל מעבד טקסט ארוך, הוא שומר בזיכרון מידע ביניים על כל מה שכבר קרא, כדי שלא יצטרך לחשב אותו מחדש בכל מילה חדשה. ככל שהטקסט ארוך יותר, הזיכרון הזה תופס יותר מקום על המעבדים הגרפיים (GPU), והוא הופך לאחד ממרכיבי העלות הכבדים ביותר בהפעלת המודל.
DeepSeek זכתה לתשומת לב עולמית בזכות שיטות שמכווצות את דרישות הזיכרון. השיטה המוכרת ביותר שלה בתחום זה היא Multi-head Latent Attention, שהוצגה במודלים קודמים של החברה. המקור אינו מפרט באיזה רכיב בדיוק עוסק המחקר החדש, אך ככל הנראה מדובר בטכניקה מהמשפחה הזו. בזכות החיסכון הזה הצליחה המעבדה להציע מודלים שמתחרים בביצועיהם במודלים אמריקאיים, בעלות נמוכה בהרבה.
המשמעות: מחיר נסתר לחיסכון?
אם הממצאים יתאששו, המשמעות היא שהחיסכון עלול לבוא על חשבון משהו. דחיסה של מידע היא כמעט תמיד פשרה, והשאלה היא אם המחיר זניח או מורגש. מחקר שמצביע על פגיעה בדיוק מעלה את האפשרות שמאחורי היתרון הכלכלי של DeepSeek מסתתרת עלות שלא נמדדה עד כה במלואה.
חשוב לסייג. על פי הדיווח מדובר בפגם פוטנציאלי, והמקור הזמין אינו מפרט את היקף הפגיעה בדיוק, את התנאים שבהם היא מתרחשת או אם DeepSeek הגיבה לממצאים. מעבר לכך, מחקר בודד אינו מכריע את השאלה. הוא פותח אותה לבדיקה.
ובכל זאת, הממצאים עשויים להשפיע על התעשייה כולה. רבות מהמעבדות, בסין ומחוצה לה, אימצו או בחנו גישות דומות לחיסכון בזיכרון בעקבות הצלחת DeepSeek. אם יתברר שלגישות האלה יש מגבלות דיוק, ייתכן שמפתחים יצטרכו לשקול מחדש את האיזון בין עלות לאיכות, ויש להניח שהמחקר יעורר עבודות המשך שינסו לאשש את הממצאים או להפריך אותם.