דיון שעלה בפורום r/LocalLLaMA מתאר ניסוי שבו מודל שפה אחד כתב פיצ'ר למסחר יומי (intraday trading), ומודל שפה שני עבר על הקוד כבודק. שני המודלים החמיצו אותה תקלה: שימוש בנתונים מהעתיד (future data) בקוד, סוג באג שעלול לפגוע קשות במערכות מסחר בעולם האמיתי.
דיון שעלה בפורום r/LocalLLaMA מתאר ניסוי שבו שני מודלי שפה (LLM) עבדו יחד על כתיבת קוד למסחר פיננסי — ושניהם פספסו אותה תקלה. לפי הפוסט המקורי, התהליך רץ במסגרת מה שמכונה שם "AQuA research loop": מודל אחד כתב פיצ'ר למסחר תוך-יומי (intraday trading), ומודל שני שימש כבודק קוד (reviewer) שתפקידו לאתר שגיאות לפני שהקוד עובר הלאה. לפי הפוסט, שני המודלים לא זיהו באג שתואר כ"future data bug" — שימוש בנתון שלא היה אמור להיות זמין למערכת בזמן קבלת ההחלטה בפועל.
בעולם המסחר האלגוריתמי, תקלה מהסוג הזה ידועה בשמות כמו look-ahead bias: קוד שבודק אסטרטגיית מסחר על נתוני עבר, אך בטעות "מציץ" למידע שהיה נחשף רק מאוחר יותר בציר הזמן. התוצאה היא מערכת שנראית רווחית בבדיקה היסטורית (backtest), אך כושלת כשהיא רצה בזמן אמת — מכיוון שבעולם האמיתי אותו מידע פשוט לא קיים עדיין ברגע קבלת ההחלטה. זהו סוג התקלה שקשה לאתר בקריאה שטחית של הקוד, משום שהוא לא מייצר שגיאת ריצה (runtime error) גלויה, אלא רק פוגם בהנחות הזמן שעליהן הקוד מתבסס.
המקרה שמתואר בפוסט נוגע בנקודה רגישה בשיח סביב שימוש ב-AI לכתיבת קוד: מודל אחד כותב, ומודל שני — לכאורה בעל "עיניים טריות" — סוקר את התוצאה. המבנה הזה נועד לדמות תהליך ביקורת עמיתים (code review) אנושי, ומיועד לתפוס בדיוק את סוג הטעויות העדינות שקל להחמיץ. העובדה שגם שכבת הביקורת לא תפסה את הבאג מרמזת, ככל הנראה, שמודלים שונים עשויים לחלוק נקודות עיוורון דומות כשמדובר בהנחות סמויות לגבי זמינות נתונים לאורך זמן — ולא רק בטעויות תחביר או לוגיקה גלויות.
המשמעות המעשית, כפי שהיא עולה מהדיון, היא שצנרת (pipeline) שבה AI כותב ו-AI בודק אינה תחליף מובטח לבדיקה אנושית בתחומים שבהם טעות שקטה יכולה להיות יקרה — ובראשם מסחר פיננסי, שבו קוד פגום עלול לתרגם ישירות להפסד כספי אמיתי בלי שאף התראה תופעל. ככל שיותר צוותים משלבים AI גם בכתיבה וגם בביקורת קוד, המקרה הזה מציב סימן שאלה על עד כמה ניתן לסמוך על השילוב הזה בתחומים בעלי סיכון גבוה, בלי שכבת בדיקה אנושית או אוטומטית נוספת שתופרת ספציפית לסוגי טעויות מהסוג הזה.