OpenAI חושפת את Habitat: תשתית אחסון שמשרתת מיליארד משתמשי ChatGPT
OpenAI פרסמה מאמר טכני המתאר כיצד Habitat, מערכת האחסון הפנימית שלה, הפכה מספריית Python פשוטה לפלטפורמת אחסון מבוזרת בפריסה גלובלית. לדברי החברה, המערכת משרתת כיום למעלה ממיליארד משתמשי ChatGPT ומטפלת ב-22 מיליון בקשות בשנייה.
✦ נכתב אוטומטית על ידי AIמבוסס על מקורות גלויים · עבר בקרת איכות אוטומטית
OpenAI פרסמה מאמר טכני שמתעד את ההתפתחות של Habitat — מערכת האחסון הפנימית שעליה נשען ChatGPT. לפי המאמר, Habitat החל את דרכו כספריית Python פשוטה והתפתח לכדי פלטפורמת אחסון מבוזרת בפריסה גלובלית, המשרתת כיום למעלה ממיליארד משתמשי ChatGPT ומטפלת ב-22 מיליון בקשות בשנייה. הפרסום מסומן כ"חלק ראשון" בסדרה, כלומר ככל הנראה צפויים המשכים שיפרטו היבטים נוספים של המערכת.
מסיפריית עזר לתשתית קריטית
עצם הניסוח של OpenAI — מעבר מ"ספריית Python" לכדי "פלטפורמת אחסון מבוזרת גלובלית" — משקף תהליך שמוכר לכל צוות הנדסה שמלווה מוצר מהשקה מצומצמת עד לשירות עולמי: פתרון שנבנה במקור כדי לפתור בעיה מקומית וממוקדת, נאלץ בהדרגה להתמודד עם עומסים, פיזור גיאוגרפי ודרישות זמינות שלא היו חלק מהתכנון המקורי. המספרים שמפרסמת OpenAI — מיליארד משתמשים ו-22 מיליון בקשות בשנייה — ממחישים את סדר הגודל שבו מדובר, אף שהמאמר המקורי לא מפרט, לפחות בקטע שפורסם, כיצד בדיוק בוצע המעבר, אילו טכנולוגיות אחסון נבחרו, או מהם צווארי הבקבוק שהמערכת נדרשה לפתור.
למה זה חשוב
ככל הנראה, הפרסום נועד לשרת כמה מטרות במקביל. מבחינה טכנית, שיתוף פרטים על תשתית שמחזיקה מעמד בסדר גודל כזה של תעבורה הוא נדיר יחסית, וחברות מעטות בעולם מפעילות בכלל מערכות שנדרשות להתמודד עם עשרות מיליוני בקשות בשנייה. מבחינה עסקית ותדמיתית, מאמרים מסוג זה משרתים גם מטרות גיוס כוח אדם הנדסי, בכך שהם מציגים את האתגרים הטכנולוגיים הפנימיים של החברה לקהל מפתחים רחב.
מעבר לכך, הפרסום מספק אינדיקציה — גם אם עקיפה — לסדר הגודל שבו ChatGPT פועל כיום. מספר כמו מיליארד משתמשים, כפי שהוא מופיע במאמר של OpenAI עצמה, ממצב את המוצר בקטגוריה של שירותי האינטרנט הגדולים בעולם מבחינת היקף השימוש, ומחייב תשתית שמתוכננת לכשל וחזרה לפעולה (resilience) ברמה שדומה לזו של ספקי ענן גדולים.
בשלב זה, ללא פרטים נוספים על הארכיטקטורה הפנימית של Habitat, קשה להעריך מה בדיוק החדשני בגישה של OpenAI לעומת פתרונות אחסון מבוזר קיימים בתעשייה. חלקים נוספים בסדרה, אם וכאשר יתפרסמו, צפויים להעניק תמונה מפורטת יותר.