דיווח: OpenAI מאריכה את שמירת המטמון ב-Codex וב-Work, וב-API יתאפשר מטמון של עד 12 שעות
לפי דיווח שעדיין לא אומת במקור רשמי, ב-Codex וב-Work של OpenAI המטמון יישמר מעכשיו גם כשהמשתמש לא פעיל, כך שחזרה לסשן אחרי הפסקה ארוכה לא אמורה לצרוך הרבה מהמכסה. מפתחים ב-API יוכלו לדבריו לשמור מטמון עד 12 שעות, במחיר כפול מזה של כתיבה למטמון ל-30 דקות.
לפי דיווח, OpenAI שיפרה את מנגנון שמירת המטמון (caching) במוצרים שלה. השינוי נוגע בעיקר למי שעובדים עם סשנים ארוכים. לפי הדיווח, ב-Codex, כלי התכנות של החברה, וב-Work המטמון יישמר מעכשיו כל הזמן. מי שמתרחק מהמחשב לכמה שעות וחוזר לאותו סשן לא אמור לגלות שחלק גדול מהמכסה שלו נצרך רק כדי לבנות את המטמון מחדש. ב-API, כך נטען, אפשר כעת לשמור מטמון עד 12 שעות, במחיר כפול מזה של כתיבה למטמון רגיל ל-30 דקות.
חשוב להבהיר: נכון לכתיבת שורות אלה, הפרטים מגיעים מפוסט בערוץ הטלגרם ai_newz. הקישור שצורף לפוסט מוביל להכרזה על מודל העולם Odyssey-3 של חברת Odyssey, ולא מתייחס לשינוי אצל OpenAI. לכן צריך להתייחס לפרטים כאל דיווח שעדיין לא אומת, עד שתפורסם הודעה רשמית מהחברה.
מה זה מטמון, ולמה הוא שורף מכסות
כשעובדים עם מודל שפה גדול (LLM) בסשן ארוך, כמו סשן תכנות שבו הסוכן "זוכר" את הקוד, את הקבצים ואת ההיסטוריה של השיחה, כל ההקשר הזה נשלח למודל מחדש בכל בקשה. כדי לא לעבד אותו מאפס בכל פעם, ספקי המודלים שומרים חלקים ממנו במטמון. קריאה מהמטמון זולה ומהירה בהרבה מעיבוד מלא.
הבעיה היא שהמטמון נמחק אחרי זמן קצוב. כשהוא פג, הבקשה הבאה צריכה לעבד מחדש את כל ההקשר, ובסשן ארוך זה יכול להיות הרבה מאוד טקסט. משתמשים במנויים עם מכסת שימוש מרגישים את זה כשהמכסה "קופצת" בבת אחת אחרי הפסקת צהריים או פגישה.
מה משתנה, לפי הדיווח
למשתמשי Codex ו-Work: לפי הדיווח, המטמון יישמר בלי קשר לזמן ההפסקה. המשמעות המעשית היא ככל הנראה ניצול צפוי יותר של המכסה, בעיקר אצל משתמשים כבדים שחוזרים לאותם פרויקטים לאורך יום העבודה.
למפתחים ב-API: תיפתח אפשרות לשמור מטמון עד 12 שעות. העלות, כך נטען, תהיה כפולה מזו של כתיבה למטמון ל-30 דקות. בדיווח לא פורטו מחירים מדויקים או המודלים שהאפשרות חלה עליהם.
למה זה חשוב
עבור מפתחים שבונים אפליקציות על ה-API, האפשרות החדשה מעמידה אותם מול חישוב פשוט: לשלם פעמיים על כתיבה ארוכה למטמון, או להסתכן בעיבוד מחדש של כל ההקשר כשהמטמון הקצר פג. נראה שבמערכות שבהן אותו הקשר גדול חוזר לסירוגין לאורך יום, למשל סוכנים שעובדים על אותו מאגר קוד או עוזרים שמחזיקים מסמכים ארוכים, המחיר הכפול עשוי להשתלם. באפליקציות עם שיחות קצרות וחד-פעמיות הוא כנראה מיותר.
ברמה הרחבה יותר, המהלך משתלב במגמה מוכרת בשוק כלי התכנות מבוססי ה-AI: התחרות כבר לא מתנהלת רק על איכות המודל, אלא גם על עלות ההפעלה ועל החוויה של עבודה מתמשכת. עד כמה השינוי ישפיע בפועל יתברר רק כש-OpenAI תפרסם את הפרטים הרשמיים, כולל המחירים והמגבלות.