סימן אנטרופיה חדש עשוי לחשוף הזיות במודלי שפה — ממעבר יחיד בפלט

כשמודל שפה "ממציא" עובדה, האם אפשר לתפוס אותו על חם — רק לפי הפלט שהוא כבר הפיק, בלי לבדוק את התשובה מול מקור חיצוני ובלי להריץ אותו כמה פעמים? קבוצת חוקרים מהזרוע הטכנולוגית של בנק ההשקעות JPMorganChase מציעה שיטה כזו: מדד בשם Calibrated Entropy Score (CES), המבוסס על ניתוח סטטיסטי של רמת אי־הוודאות (אנטרופיה) שהמודל מגלה בכל שלב בייצור הטקסט, כך שלפי המאמר] נדרשת רק העברה קדימה (forward pass) אחת דרך הרשת ורק גישה ל"קופסה השחורה" של המודל — כלומר לציוני ההסתברות (logits) שהוא מפיק לכל מילה, בלי צורך לחשוף את המשקלים הפנימיים שלו. כך נטען במאמר המחקר, שהועלה לאחרונה לארכיון arXiv ועדיין לא עבר ביקורת עמיתים פורמלית.

הרעיון המרכזי: שיטות קיימות להערכת אי־ודאות של מודל, כמו פרפלקסיטי (perplexity) או אנטרופיה ממוצעת, מסתכלות בעיקר על הערך הממוצע של אי־הוודאות לאורך התשובה. לפי החוקרים, גם צורת ההתפלגות של האנטרופיה — ובמיוחד ההתנהגות בקצוות שלה — נושאת מידע עצמאי וחשוב. CES משלב שני מדדים: האנטרופיה הממוצעת לאורך התשובה והאנטרופיה המקסימלית בנקודה בודדת שלה, ומעביר את שניהם דרך פונקציית התפלגות מצטברת (CDF) שכוילה מראש על מדגם תשובות שסומנו כנכונות או שגויות. התוצאה היא ציון אחד שניתן להשוואה בין מודלים ומשימות שונות, והחוקרים מנסחים את הזיהוי כבדיקת השערה סטטיסטית פורמלית, עם ערבויות כיול מבוססות על גרסה חדשה של אי־שוויון Dvoretzky–Kiefer–Wolfowitz, ועם הוכחה לפיה ההסתברות לזיהוי הזיה עולה אקספוננציאלית ככל שהתשובה ארוכה יותר.

לדברי החוקרים, הם בדקו את השיטה על שמונה מבחני שאלות־ותשובות (QA) ועשרה מודלים שונים — הן מודלים בקוד פתוח והן מודלים הנגישים רק דרך API — ומצאו ש-CES השיג את ביצועי הזיהוי הגבוהים ביותר מבין שיטות שנשענות על מעבר יחיד וגישת קופסה שחורה, ואף היה "בלתי ניתן להבחנה סטטיסטית" מתוצאות של שיטות יקרות בהרבה שדורשות דגימה חוזרת של המודל.

המחקר מצטרף למגמה רחבה יותר של ניסיון לזהות הזיות מתוך אותות פנימיים של המודל, ולא רק על ידי בדיקת התשובה עצמה מול מקור חיצוני. גישה מוכרת בתחום היא "אנטרופיה סמנטית" (semantic entropy), ששימשה בסיס למחקר של גוגל DeepMind שפורסם בNature; דף המאמר לא נטען במלואו בבדיקה הנוכחית, כך שפרטיו לא ניתנים לאימות ישיר כאן. בפורומים כמו r/LocalLLaMA עולות גם טענות של גולשים על איתור אותות דומים במודלים ספציפיים כמו Qwen3-4B-Instruct — אלו דיווחים לא מאומתים של משתמשים בודדים, ולא ממצאים שפורסמו במקור מחקרי, ולכן אין להתייחס אליהם כעובדה מבוססת.

המשמעות המעשית, ככל הנראה, נוגעת בעיקר לעלות: אם שיטה שדורשת מעבר יחיד בלבד אכן מתחרה בביצועיה בשיטות יקרות שדורשות הרצות חוזרות, ייתכן שזה יאפשר לארגונים לשלב בדיקת הזיות בזמן אמת במערכות שמבוססות על מודלי שפה, בלי לשלש ולרבע את עלות ההרצה. עם זאת, מדובר במאמר שטרם עבר ביקורת עמיתים, והמעבר מתוצאות מבחן אקדמיות לפריסה בקנה מידה תעשייתי טרם הוכח.