מתי לבחור ב-GPT-6.1 Terra ומתי ב-Astra? כלל האצבע של OpenAI
טד סנדרס מ-OpenAI מסביר איפה ממוקם GPT-6.1 Terra בתוך משפחת המודלים של החברה. לדבריו, ככל הנראה המודל הקטן עולה על Astra הגדול יותר בתקשורת טכנית ועולה הרבה פחות, אבל נופל ממנו ברוב התחומים האחרים. הוא גם מסביר למה לא כדאי לדרג מודלים לפי מדד IQ יחיד.
בעקבות ההשקה של GPT-6.1 Terra, טד סנדרס מ-OpenAI הציע כלל אצבע פשוט לבחירת מודל מתוך המשפחה של החברה. לפי הדיווח באתר The Decoder, סנדרס אמר ש-Terra, המודל הקטן, כנראה טוב יותר מ-Astra הגדול יותר בתקשורת טכנית. בעיבוד תמונה ובשימוש במחשב (computer use) הביצועים של שניהם דומים פחות או יותר, ו-Terra עולה הרבה פחות. ברוב התחומים האחרים הוא נופל מ-Astra.
את ההמלצה המעשית שלו סנדרס ניסח כך: "אם אכפת לכם רק מהאיכות, בחרו ב-Astra. אם אתם קצת רגישים למחיר, בחרו ב-Sol. אם אתם מאוד רגישים למחיר, בחרו ב-Terra או ב-Luna."
ביצועים הם לא מספר אחד
מעבר להמלצה, סנדרס הסביר גם איך OpenAI מסתכלת על הביצועים של המודלים שלה. לדבריו, לביצועים של מודל יש כמה ממדים. מודל שמצטיין במתמטיקה לא בהכרח יהיה טוב גם בהומור. ועדיין, לדבריו, רוב פערי הביצועים בין מודלים נובעים ממשתנה אחד: גודל המודל.
לכן, לדבריו, קשה לפשט את שמות המודלים של OpenAI. גודל המודל, רמת ה-reasoning (כמה "מאמץ חשיבה" המודל משקיע לפני שהוא עונה) ומערכות multi-agent (כמה סוכני AI שעובדים יחד על משימה) הם ממדים נפרדים. אם מצמצמים את כולם ל"ציון IQ" אחד, הולכים לאיבוד פרטים חשובים.
סנדרס הוסיף שגם הגודל לא מסביר הכול. מודלים חדשים וקטנים יכולים לעקוף מודלים ישנים וגדולים מהם, בזכות נתוני אימון טובים יותר או ארכיטקטורה משופרת.
למה זה חשוב
מי שעקב אחרי ההשקות של OpenAI בשנים האחרונות יודע ששמות המודלים של החברה מבלבלים לא פעם, גם משתמשים מנוסים. נראה שההסבר של סנדרס מנסה לטפל בבעיה הזאת, לא באמצעות דירוג אחד מהטוב לגרוע, אלא בהכוונה לפי מה שחשוב למשתמש: איכות או מחיר.
ההסבר כנראה רלוונטי במיוחד למפתחים ולחברות שמשלבים מודלים דרך API. אצלם עלות השימוש מצטברת מהר, והבחירה במודל קטן וזול יכולה להשפיע הרבה על התקציב. אם Terra אכן טוב כמו Astra בתחומים מסוימים, למשל עיבוד תמונה או computer use, או אפילו טוב ממנו בתקשורת טכנית, חלק מהמשימות אפשר להעביר למודל הזול בלי לוותר הרבה על איכות. במשימות אחרות כדאי להישאר עם המודל הגדול.
יש גם מסר רחב יותר לקורא הכללי. ההשוואה בין מודלי AI מוצגת הרבה פעמים כטבלת ליגה עם מנצח אחד. לפי סנדרס, התמונה מורכבת יותר: מודל שמתאים למשימה אחת לא בהכרח מתאים לאחרת. כדאי לבחור לפי השימוש ולא לפי כותרת שמכריזה מי "החכם ביותר".
חשוב לזכור שהניסוח של סנדרס זהיר. הוא אומר ש-Terra "כנראה" טוב יותר מ-Astra בתקשורת טכנית, וזו לא קביעה נחרצת. בדיווח לא פורסמו מספרי ביצועים או מחירים מדויקים שתומכים בהשוואה. לכן כדאי להתייחס לדברים כהכוונה כללית מ-OpenAI עצמה ולא כמבחן עצמאי.