विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
OpenAI ने Habitat कैसे बदला: साझा क्षमता, क्षेत्रीय कैश और सीमाओं के साथ पढ़ने में 12× सुधार
OpenAI ने Cosmos DB की साझेदारी, CDC द्वारा कैश अमान्य करने और Rust को समझाया; माध्यिका में सुधार कई बदलावों का संयुक्त परिणाम है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
23 अक्टूबर के इंजीनियरिंग लेख में OpenAI ने Habitat के Azure Cosmos DB स्टोरेज और पढ़ने के मार्ग में बदलाव बताए। यह कंपनी के संचालन संबंधी निर्णयों और उसके बताए मापों का विवरण है, किसी नए मॉडल या सार्वजनिक स्टोरेज उत्पाद की घोषणा नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- OpenAI के अनुसार वैश्विक पढ़ने का p50 लगभग 120 ms से 10 ms होने में डेटा का स्थान, क्षेत्रीय कैश और Rust में पुनर्लेखन मिलकर काम करते हैं; धीमे कैश-मिस अब भी दूर के स्टोरेज तक जाते हैं।
- Habitat साझा कंटेनरों से अलग कंटेनरों की ओर गया और Azure के साथ काम करके फिर साझा व्यवस्था को डिफॉल्ट बनाया। अलग एक्साबाइट-स्तरीय प्रणाली अभी विकास में है।
साझा डेटाबेस असंबंधित सुविधाओं को क्यों सीमित कर सकता था
OpenAI Habitat को 500 पेटाबाइट से अधिक डेटा वाली परत बताता है, जो 40 भौगोलिक क्षेत्रों में 1 अरब से अधिक उपयोगकर्ताओं को सेवा देने वाले उत्पादों को सहारा देती है। ये लेखक के पैमाने के दावे हैं, स्वतंत्र उपयोगकर्ता गणना या इतने नए उपयोगकर्ताओं के जुड़ने की घोषणा नहीं। व्यावहारिक प्रश्न है कि क्षमता साझा हो, पर एक सुविधा दूसरी को नुकसान न पहुँचाए। शुरुआत में हर Cosmos DB खाते का एक डिफॉल्ट कंटेनर था और क्लाइंट तार्किक पार्टीशन कुंजी चुनते थे। सामान्य पहचानकर्ताओं के कारण अलग उपयोग एक ही कुंजी की सीमा साझा कर सकते थे।
RU/s प्रति सेकंड अनुरोध इकाइयाँ हैं, क्वेरी की कोई निश्चित संख्या नहीं। प्रारंभिक डिजाइन ने दबाव वापस देने के लिए तार्किक कुंजी की घोषित 10,000 RU/s सीमा पर भरोसा किया, लेकिन सीमा साझा भौतिक पार्टीशन पर लागू होती है। असंबंधित कुंजियाँ भी वहाँ प्रतिस्पर्धा करती हैं। दूसरा जाल: कुल कंटेनर थ्रूपुट बदले बिना डेटा बढ़ने से भौतिक पार्टीशन विभाजित हो तो हर नए भाग को कम क्षमता मिलती है। बड़े ऑब्जेक्ट वाले कार्य स्थिर अनुरोध दर पर भी बाधित हो सकते हैं। चित्र प्रक्रियाएँ समझाते हैं; उनके अनुपात उत्पादन माप नहीं हैं।
अलगाव से नुकसान घटा, क्षमता योजना का बोझ बढ़ा
समर्पित कंटेनरों ने महत्वपूर्ण सेवाओं को अलग भौतिक पार्टीशन दिए और शोर करने वाले पड़ोसी का प्रभाव सीमित किया। कमजोर पार्टीशन संभालने के लिए टीम ने प्रावधान किए थ्रूपुट को भौतिक पार्टीशन संख्या के साथ भी समायोजित किया। बदले में हर सेवा को क्षमता योजना करनी पड़ी। आंतरिक परीक्षण से सार्वजनिक बड़े ट्रैफिक पर जाने से छोटा समर्पित कंटेनर भर सकता था, जबकि वही वृद्धि बड़े साझा पूल पर मामूली असर डालती। अलगाव ने विफलता की सीमा बदली, लेकिन लॉन्च से पहले मांग का अनुमान लगाने की जरूरत खत्म नहीं की।
Habitat गर्म कुंजियों पर पहले सीमांकन, सामूहिक कार्य की कम प्राथमिकता और Azure के साथ बनाए serverless संस्करण के साथ फिर डिफॉल्ट साझा व्यवस्था पर आया। लेख पुराने प्रति भौतिक पार्टीशन 5,000 RU/s की तुलना ऐसे अनुकूलित रूप से करता है जो अधिकतम 10,000 RU/s देता है और स्टोरेज के साथ RU उपयोग के आधार पर भी विभाजन करता है। यह खास सहयोग है, हर Azure ग्राहक के लिए वही सेटिंग उपलब्ध होने का प्रमाण नहीं। हमारा विश्लेषण: साझा अतिरिक्त क्षमता तभी भरोसेमंद लाभ बनती है जब नियंत्रण संवादात्मक काम बचाए और क्षमता मांग का अनुसरण करे।
प्रबंधित सेवा को भी संयुक्त विफलता परीक्षण क्यों चाहिए
OpenAI कहता है कि उसका सबसे बड़ा Cosmos DB खाता कई दसियों पेटाबाइट रखता है और प्रति सेकंड 2 करोड़ से अधिक क्वेरी सँभालता है। 2024 के अंत में बिजली जाने की घटना और उसके लगभग एक महीने बाद वापसी की घटना ने इस पैमाने पर अपरीक्षित धारणाएँ उजागर कीं। बिजली जाने पर सबसे बड़े खातों को दूसरे क्षेत्र में स्विच होने में कई घंटे लगने की बात सामने आई। लगभग एक महीने बाद लौटाने पर कनेक्शनों की भीड़ ने मूल क्षेत्र का गेटवे भर दिया। संबंधित सभी भौतिक पार्टीशन लौटने से पहले क्लाइंट दोबारा जुड़ गए। ये बहाली के अलग चरणों की दो घटनाएँ हैं, एक लगातार चली बाधा नहीं।
जवाब केवल अधिक क्षमता खरीदना नहीं था। Habitat और Azure टीमें संयुक्त निगरानी, उत्पादन-जितने बड़े गैर-उत्पादन खाते पर परीक्षण, SDK में संयुक्त सुधार और इंजीनियरों के सीधे संपर्क का उपयोग करती हैं। लेख गेटवे मेटाडेटा कैश, लोड सुरक्षा, कनेक्शन पुनः उपयोग तथा महत्वपूर्ण और ऑफलाइन काम अलग रखने का भी वर्णन करता है। अन्य टीमों के लिए हमारा निष्कर्ष है कि प्रतिनिधि आकार पर विफलता के बाद स्विच और वापस लौटना दोनों जाँचें। प्रदाता द्वारा डेटाबेस चलाना अपने आप ग्राहक के कनेक्शन व्यवहार, बहाली अवधि या स्वीकार्य प्रभाव क्षेत्र को प्रमाणित नहीं करता।
पढ़ने में 12× सुधार में वास्तव में क्या शामिल है
OpenAI के अनुसार Habitat के 90% से अधिक अनुरोध पढ़ने के हैं। रणनीति पहले क्षमता मिलने पर डेटा उपयोगकर्ता के पास रखती है, फिर कुछ छोटे और विलंब-संवेदनशील डेटासेट व्यापक रूप से प्रतिलिपित करती है, बाकी अक्सर प्रयुक्त ऑब्जेक्ट और संबंध पास के Valkey कैश से देती है। कुछ महत्वपूर्ण खाते सेवा वाले सभी 40 Azure क्षेत्रों में प्रतिलिपित हैं; इसका अर्थ सभी डेटा की सर्वत्र प्रतिलिपि नहीं। स्टोरेज और कंप्यूट क्षेत्र की बिजली, ठंडक और जगह के लिए प्रतिस्पर्धा करते हैं। इसलिए स्थान उत्पाद और क्षमता का समझौता है, असीम निकटता की गारंटी नहीं।
कैश अमान्य करना Cosmos DB के बदलाव फीड से चलता है: CDC उपभोक्ता अपडेट के बाद स्थानीय प्रतियाँ अमान्य करते हैं और अगला पढ़ना उन्हें फिर भरता है। OpenAI वैश्विक प्रसार सेकंडों में बताता है, जिससे केवल TTL समाप्ति पर निर्भरता घटती है; यह तत्काल संगति नहीं। Rust पुनर्लेखन ने सेवा का अतिरिक्त खर्च भी घटाया। संयुक्त बदलावों ने वैश्विक पढ़ने का p50 लगभग 120 ms से 10 ms किया। चार्ट पास की प्रतिलिपि, क्षेत्रीय कैश और Rust अलग दिखाता है। 12× को अकेले Rust, लिखने की देरी या प्रत्येक व्यक्ति के पूरे ChatGPT उत्तर-समय का परिणाम नहीं मान सकते।
CDC का पैमाना और चालू व विकासाधीन प्रणाली की सीमा
CDC द्वितीयक इंडेक्स, डेटा स्थानांतरण और विश्लेषण भी चलाता है। OpenAI प्रति सेकंड लाखों बदलाव, हजारों कंटेनर, लाखों कंटेनर पार्टीशन और सौ से अधिक Kafka विषय बताता है। नियंत्रण परत क्षेत्र और वर्कर बाँटती है; प्रतिकृतियों से कम प्राथमिकता पर पढ़ना संवादात्मक ट्रैफिक बचाता है। स्ट्रीम अलगाव, लीज प्रबंधन, असफल संदेश कतार और क्षेत्रीय विफलता पर रीडर बदलना अलग समस्याएँ सँभालते हैं। स्थायी रूप से असफल डिलीवरी अलग करना आगे का प्रवाह रुकने से बचाता है, पर सभी नीचे के उपभोक्ता नवीनतम हैं, इसका प्रमाण नहीं।
सीमाएँ बची हैं: धीमे कैश-मिस दूर के स्टोरेज तक जाते हैं, और लेख प्रत्येक अनुकूलन को अलग मापने वाला नियंत्रित परीक्षण या सार्वभौमिक टेल लेटेंसी गारंटी नहीं देता। OpenAI Rockset के RocksDB Cloud कोर, Raft प्रतिकृति और Cosmos-संगत दस्तावेज मॉडल से एक्साबाइट प्रणाली बना रहा है। अलग स्टोरेज और भौतिक प्रतिकृति कम फ्लैश की जरूरत के बदले कम अधिकतम QPS लेते हैं। यह विकास में है, Cosmos का पूरा प्रतिस्थापन नहीं। हमने यह दूसरा भाग और पढ़ने का चार्ट पढ़ा; जुड़े पहले भाग, SDK स्रोत या सेवा गारंटी स्वतंत्र रूप से नहीं जाँचीं।
यह क्यों अहम है
इंफ्रास्ट्रक्चर टीमें अलगाव, कुल उपलब्ध अतिरिक्त क्षमता और संचालन जिम्मेदारी की तुलना कर सकती हैं। कैश की ताजगी, विफलता से वापसी और टेल लेटेंसी के अलग स्वीकृति मानदंड चाहिए।
सीमाएँ और उपलब्धता
ये OpenAI के दावे हैं, AISubHub का पुनरुत्पादन या Azure की गारंटी नहीं। लेख अनुकूलित serverless का सबके लिए उपलब्ध होना, नई सदस्यता सुविधा या पूरे अनुप्रयोग की गति बढ़ना स्थापित नहीं करता।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।