OpenAI חושפת עוד פרטים על Habitat, מערכת האחסון של ChatGPT: קריאות מהירות פי 12

OpenAI פרסמה את החלק השני בסדרת פוסטים טכניים על Habitat, מערכת האחסון המקוון שעליה נשען ChatGPT. לפי החברה, Habitat מתוכנן לשרת יותר ממיליארד משתמשים, והשילוב בין שלושה רכיבים הביא לקריאות נתונים מהירות פי 12: ריבוי דיירים (multi-tenancy) אמין, שכבת מטמון (caching) גלובלית, ומסד הנתונים Azure Cosmos DB של מיקרוסופט.

מה בעצם מתואר כאן

רוב המשתמשים פוגשים את ChatGPT דרך תיבת הצ'אט ולא חושבים על מה שקורה מאחוריה. אבל כל שיחה, הגדרה או נתון שנשמרים בחשבון צריכים להיכתב למקום כלשהו ולהישלף ממנו מהר, בכל פעם שהמשתמש חוזר. בקנה מידה של מאות מיליוני משתמשים ויותר, האחסון הופך לאחד מצווארי הבקבוק המרכזיים של המוצר.

שלושת הרכיבים ש-OpenAI מציינת מוכרים לכל מי שבונה מערכות גדולות:

• ריבוי דיירים (multi-tenancy): תשתית אחת משרתת כמה "לקוחות" פנימיים או שירותים שונים במקביל. האתגר הוא האמינות: שעומס או תקלה אצל דייר אחד לא יפגעו באחרים. לכן ככל הנראה OpenAI מדגישה דווקא ריבוי דיירים אמין.
• מטמון גלובלי: נתונים שנקראים לעתים קרובות נשמרים קרוב יותר למשתמש או לשירות שמבקש אותם, כדי לחסוך פנייה איטית יותר למסד הנתונים עצמו. נראה שזה המקור העיקרי לשיפור במהירות הקריאה.
• Azure Cosmos DB: שירות מסד נתונים מבוזר בענן של מיקרוסופט, שנבנה לפריסה על פני כמה אזורים גאוגרפיים.

למה זה מעניין

עבור הקהל הרחב מדובר בפוסט הנדסי ולא בהכרזה על מוצר. אף משתמש לא יראה כפתור חדש בעקבותיו. ובכל זאת, שיפור של פי 12 במהירות הקריאה צפוי להשפיע על החוויה היומיומית בדרכים פחות גלויות, כמו טעינה מהירה יותר של היסטוריית שיחות ונתוני חשבון.

הבחירה ב-Azure Cosmos DB מזכירה גם עד כמה התשתית של OpenAI עדיין קשורה לענן של מיקרוסופט, השותפה הוותיקה שלה. סביר להניח שזו גם אחת הסיבות שהחברה בוחרת לתאר את המערכת בפומבי: הפוסטים האלה משמשים גם כלי גיוס וגם הצגה של היכולת לעמוד בקנה מידה חריג.

למהנדסים, ובעיקר למי שבונה מערכות SaaS עם בסיס משתמשים צומח, הסדרה מציעה הצצה נדירה לאופן שבו אחת מאפליקציות הצרכנים הגדולות בעולם מתמודדת עם בעיות שהם מכירים, רק בסדר גודל אחר. מי שמתעניין בפרטים המלאים, כולל הארכיטקטורה ומדדי הביצועים, ימצא אותם בפוסט המקורי של OpenAI.