מחקר מסטנפורד: 44% מ-50 טענות מוכרות על מודלי שפה כבר אינן תקפות
חוקרים מסטנפורד בדקו 50 טענות מצוטטות על מודלי שפה מול 20 מודלים עדכניים. הם מצאו ש-44% מהן כבר אינן מתקיימות, ושבממוצע טענה כזו מחזיקה 15.7 חודשים. הטענות על מה שמודלים "לא מסוגלים" לעשות התיישנו הכי מהר.
זוכרים שמודלי שפה לא הצליחו לספור כמה פעמים מופיעה האות r במילה "strawberry"? מחקר חדש מאוניברסיטת סטנפורד מראה שרבות מהטענות האלה כבר לא נכונות. החוקרים Owen Queen ו-James Zou בדקו 50 טענות נפוצות ומצוטטות על מודלי שפה גדולים (LLM) מול 20 מודלים עדכניים. הם מצאו ש-44% מהטענות "פגו תוקף", כלומר האפקט שתיארו נעלם כמעט לגמרי. כך דיווח האתר THE DECODER.
מה בדיוק נבדק
החוקרים השתמשו במודלים של שמונה מפתחות שונות, שיצאו בין יולי 2024 לספטמבר 2026. בנוסף ל-44% שפגו, 34% מהטענות נחלשו באופן משמעותי. רק 16% עדיין מתקיימות, ו-6% דווקא התחזקו.
ל-22 מהממצאים שפגו החוקרים הצליחו להעריך תאריך תפוגה. אורך החיים הממוצע שלהם היה 15.7 חודשים בלבד. אחרי שנה אחת פגו 16% מהממצאים, ואחרי שנתיים כבר 39%.
"מודלים לא יודעים..." מתיישן הכי מהר
לפי המחקר, טענות על דברים שמודלים אינם מסוגלים לעשות מתיישנות הכי מהר. מתוך תשעה ממצאים שנוגעים ליכולות היסק (reasoning), חמישה נחשבים כפגי תוקף. אף אחד מהתשעה לא שמר על עוצמתו או התחזק. ברשימה נמצאות חולשות מוכרות: ספירת האותיות ב-"strawberry", חשבון בשיטות ספירה לא מוכרות, אובדן מידע שנמצא באמצע הקשר ארוך, ונטייה לוותר על תשובה נכונה כשהמשתמש מתעקש.
ההשערה של החוקרים: לטעויות כאלה יש תשובה "נכונה" אחת, ולכן המפתחות יודעות בדיוק למה לאמן את המודלים.
לעומת זאת, טענות על העדפות ונטיות של המודלים מחזיקות זמן רב יותר. 11 ממצאים נשארו בתוקף או התחזקו. שלושה מהם עוסקים במודלים שמשמשים כשופטים: הם מעדיפים את התשובות של עצמם, נותנים ציונים דומים למאמרים שהתקבלו ולמאמרים שנדחו, ומושפעים מניסוח מגמתי בתקצירים רפואיים. שלושה ממצאים נוספים עוסקים בחנופה (sycophancy) ובנטייה להסכים עם המשתמש. ברשימה נמצאים גם נטייה פוליטית שמאלה, תשובות כמעט זהות לשאלות פתוחות, והתפלגות לא אחידה כשמבקשים מהמודל מספרים אקראיים.
מקורות מומצאים: מ-55% לאפס, אבל לא אצל כולם
בתור מקרה בוחן, החוקרים חזרו למחקר של Walters ו-Wilder מ-2023, שבו GPT-3.5 המציא 55% מהמקורות המדעיים שציטט. הם שלחו את אותן הנחיות למודלים של היום. GPT-6.1 Sol לא המציא אף מקור, ו-Claude Sonnet 5.5 המציא 1%. אבל Qwen3.7-Flash, שגם הוא מודל מ-2026, עדיין המציא 69% מהמקורות באותו מבחן.
החוקרים מזהירים שאין לראות בתוצאות אישור שהבעיות נפתרו. בשאלות "דו-שלביות", שבהן המודל צריך לחבר שתי עובדות שהוא מכיר, Claude Sonnet 5.5 עדיין נכשל בכ-10% מהמקרים שבהם ענה נכון על כל אחת מהשאלות לחוד. במאמר המקורי דווח על 43% אצל ChatGPT. גם ה-"Reversal Curse" נחלש אבל עדיין ניתן לזיהוי. זו התופעה שבה מודל שלמד ש-A הוא B מתקשה להסיק ש-B הוא A. בהטיות חברתיות התמונה מעורבת: הנטייה הפוליטית שמאלה נשארה, סטריאוטיפים מגדריים נחלשו, וההטיה נגד דוברי אנגלית אפרו-אמריקאית אפילו התהפכה בנתוני המגמה.
פערים גדולים בין מודלים
גם מודלים שיצאו באותה תקופה התנהגו אחרת מאוד. בקרב המודלים שיצאו ביולי עד ספטמבר 2026, מספר הממצאים שפגו נע בין 11 אצל DeepSeek V4 Pro ל-30 אצל GPT-6.1 Sol. לא תאריך ההשקה, לא החברה המפתחת ולא גודל המודל ניבאו את הדפוס באופן עקבי.
למה זה חשוב
המסקנה של Queen ו-Zou היא שממצאים על מודלי שפה צריכים להיות מוצגים כתצפית על מודל מסוים בזמן מסוים, ולא כאמת כללית. לכן הם קוראים למחברי מאמרים לתעד את המודל, הגרסה והתאריך, ולפרסם את ההנחיות ואת קוד הניתוח כדי שאפשר יהיה לבדוק את הממצאים שוב על מודלים עתידיים.
לקורא הישראלי יש כאן ככל הנראה שני לקחים. הראשון: כשקוראים ש"בינה מלאכותית לא יודעת לעשות X", כדאי לבדוק מתי נכתבה הטענה ועל איזה מודל. השני: בחירת המודל משנה הרבה, גם בין מודלים מאותו דור. החוקרים מפנים גם לפוסט של Andrej Karpathy, שמתאר איך פערים בין התדמית של מודלי השפה לבין מה שהם עושים בפועל משפיעים על האמון בבינה מלאכותית ועל מידת השימוש בה.