למה טקסט של AI מעייף לקריאה: מחקר מצביע על שישה דפוסים לשוניים

מי שעובד באופן קבוע עם ChatGPT או עם Claude מכיר את התחושה: התשובה נכונה, אבל קשה לקרוא אותה. מחקר של חוקרים מאוניברסיטת ניו יורק (NYU) ומאוניברסיטת טקסס באוסטין מגבה את התחושה הזו בנתונים. לפי המחקר, מודלי השפה המובילים משתמשים שוב ושוב בשישה מבנים לשוניים שמכבידים על הקורא. החוקרים מייחסים זאת לשיטות האימון של המודלים.

איך נבדקו המודלים

החוקרים ביקשו מ-14 מודלי שפה לכתוב בשלושה מצבים: שיחה יומיומית, סשן תכנות וחיבור טיעוני. בין המודלים היו Claude, ‏GPT-5.6, ‏GLM-5 ו-Kimi K2.5, וגם מודלי open source קטנים יותר כמו Llama ו-Olmo. בסך הכול נותחו 120 שיחות, 45 סשנים של תכנות ו-980 חיבורים. התוצרים הושוו לטקסטים שכתבו בני אדם: כתוביות לסרטים, דיונים ב-StackExchange וחיבורים של סטודנטים.

ששת הדפוסים

1. צירופי מילים חריגים שכמעט לא מופיעים בכתיבה אנושית, כמו "reader-patience budget" ("תקציב סבלנות של הקורא").
2. ריחוק בין חלקי משפט שקשורים זה לזה, מה שמעמיס על הזיכרון העובד. ‏Claude Opus 5 כתב: "A cat who can always get up and away is a much calmer cat". כאן פסוקית ארוכה מפרידה בין הנושא לבין הנשוא העיקרי.
3. השמטת מילת קישור: "the book the professor wrote" במקום "the book that the professor wrote". זה חוסך מילה אחת, אבל לרגע לא ברור איך חלקי המשפט מתחברים.
4. ערימת שמות עצם, כמו "horror movie soundtrack generator". הקורא צריך לפענח לבד איזו מילה מתארת איזו.
5. הפיכת שמות עצם לפעלים במקומות שבהם בני אדם לא היו עושים זאת. ‏Claude Fable 5 כתב "calendar it" במקום "put it in the calendar".
6. פעלים של יצורים חיים על נושאים דוממים. ‏Claude Opus 5 כתב: "The whole conversation is eating its own tail" ("כל השיחה אוכלת את הזנב של עצמה").

אפשר להבין כל אחד מהמשפטים האלה. אבל כל אחד מהם דורש מהקורא עוד רגע של מחשבה, ובטקסט ארוך הרגעים האלה מצטברים.

המודלים הקטנים כותבים כמו בני אדם

הטקסטים של Llama ושל מודל הבסיס של Olmo היו הקרובים ביותר לכתיבה אנושית. בתוך משפחת Olmo, הסטייה מהכתיבה האנושית גדלה בהדרגה: ממודל הבסיס, דרך גרסת ה-instruct ועד מודל ה-reasoning ‏Olmo Think, שהגיע לרמות של המודלים המובילים. לדברי החוקרים, הנתון הזה מצביע ככל הנראה על שלב ה-post-training, האימון שהמודל עובר אחרי האימון הבסיסי, כגורם לבעיה.

אימון שמתגמל דחיסה ולא בהירות

לפי החוקרים, שפה אנושית מאזנת בין הקלות של מי שכותב לבין הקלות של מי שקורא. מודלים מודרניים, לעומת זאת, מאומנים יותר ויותר על מתמטיקה, קוד והסקה לוגית, ובמשימות האלה מתוגמלת תשובה נכונה ולא בהירה. המעבר מ-RLHF (למידת חיזוק ממשוב אנושי) ל-RLVR (למידת חיזוק עם תגמולים שאפשר לאמת אוטומטית) מוציא את בני האדם מלולאת המשוב לגמרי. לטענת החוקרים, המודלים מפתחים כך מעין "דיאלקט" משלהם. הדיאלקט הזה טוב לדחיסת מידע ולפתרון בעיות מורכבות, אבל לא נוח לקורא אנושי.

כדי לבחון את ההסבר, החוקרים אימנו מודל קטן עם "קנס" שתגמל תשובות קצרות. בחלק מתנאי האימון המודל העדיף ניסוחים קצרים כמעט תמיד, בלי קשר להקשר. הוא אפילו החיל את ההעדפה על מבני משפט שלא פגש באימון. בני אדם, לעומתו, בחרו בין הניסוח הקצר לארוך לפי המצב.

גם באנתרופיק מזהים את הבעיה

הסבר דומה הגיע מתוך התעשייה. לפי The Decoder, ג'קסון קרניון, עובד אנתרופיק שעוסק ב-fine-tuning של Claude, הסביר לאחרונה למה לדעתו Opus 4.6 היה "מודל הכתיבה" הטוב האחרון של החברה. לדבריו, האופטימיזציה של מודלים חדשים יותר למתמטיקה, לקוד ולהסברים טכניים שמיועדים למודלי AI אחרים דחפה את Claude לסגנון שמתאים ל-AI אבל צפוף ולא טבעי לקורא אנושי. קרניון קרא לזה הסתגלות ל"פסיכולוגיה של LLM".

ב-Opus 5.5 אנתרופיק ניסתה לראשונה לתקן את הכיוון: היא טיפלה בבהירות המשפטים ובגושי מידע עמוסים מדי. לפי המחקר, הניסיון הצליח: ‏Opus 5.5 עקף את Opus 5 ב-19 מתוך 21 השוואות.

המשמעות

המסקנה המעניינת מהמחקר היא שהכתיבה המעייפת של מודלי AI אינה מגבלה טבועה בטכנולוגיה. ככל הנראה היא תוצאה של מה שבחרו לתגמל באימון. המשמעות היא שגם אפשר לתקן אותה, כפי שמרמזות התוצאות של Opus 5.5. השאלה הפתוחה היא אם חברות ה-AI יהיו מוכנות להשקיע בבהירות לקורא, במקביל למרוץ על ביצועים במתמטיקה ובקוד.