تحليل معمق · قراءة نحو 6 دقائق
كيف أعادت OpenAI تصميم Habitat: سعة مشتركة وذاكرة تخزين إقليمية وتحسن قراءة بمقدار 12 ضعفًا ضمن حدود
تشرح OpenAI حاويات Cosmos DB وإبطال الذاكرة عبر CDC وRust؛ تحسن وسيط القراءة يجمع عدة تغييرات.
- نُشر هنا
- تاريخ المصدر
- تم التحقق من المصدر
في مقال هندسي بتاريخ 23 أكتوبر، تشرح OpenAI تطور تخزين Azure Cosmos DB ومسار القراءة في Habitat. هذا عرض لمفاضلات تشغيلية وقياسات توردها الشركة، وليس إطلاق نموذج جديد أو منتج تخزين متاح للجمهور.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- تعزو OpenAI انخفاض p50 العالمي للقراءة من نحو 120 مللي ثانية إلى 10 إلى توزيع البيانات والذاكرة الإقليمية وإعادة الكتابة بـRust معًا؛ الطلبات البطيئة غير الموجودة في الذاكرة لا تزال تصل إلى تخزين بعيد.
- انتقلت Habitat من حاويات مشتركة إلى معزولة ثم عادت إلى المشاركة الافتراضية بعد هندسة مشتركة مع Azure. ويظل نظام منفصل بحجم الإكسابايت قيد التطوير.
لماذا كانت المشاركة تحد ميزات لا علاقة بينها
تصف OpenAI نظام Habitat بأنه طبقة تدير أكثر من 500 بيتابايت وتدعم منتجات تخدم أكثر من مليار مستخدم عبر 40 منطقة جغرافية. هذه أرقام نطاق عمل يذكرها الكاتب، وليست إحصاء مستقلًا للمستخدمين أو إعلانًا بانضمام هذا العدد الآن. المسألة العملية هي جمع السعة دون أن تضر ميزة بأخرى. في البداية استخدم كل حساب Cosmos DB حاوية افتراضية واحدة، واختار العملاء مفاتيح التقسيم المنطقي مباشرة. لذلك أمكن للمعرفات الشائعة أن تجعل استخدامات مختلفة تتقاسم حدود المفتاح نفسه.
تعني RU/s وحدات طلب في الثانية، لا عددًا ثابتًا من الاستعلامات. اعتمد التصميم الأول على حد معلن يبلغ 10,000 RU/s لكل مفتاح منطقي لتوليد ضغط معاكس، لكن تطبيق الحدود يحدث فعليًا داخل الأقسام المادية المشتركة؛ فتتنافس مفاتيح غير مرتبطة. وهناك مشكلة أخرى: إذا قسم نمو التخزين قسمًا ماديًا دون رفع إجمالي إنتاجية الحاوية، تقل حصة كل قسم ناتج. لذا يمكن لأحمال الأجسام الكبيرة أن تختنق رغم ثبات معدل الطلبات. الرسوم تشرح الآليات، ولا تمثل نسبها قياسات إنتاج فعلية.
العزل قلل الأضرار وزاد عبء تخطيط السعة
أعطت الحاويات المخصصة الخدمات الحرجة أقسامًا مادية منفصلة وقللت نطاق أثر الجيران المزعجين. كما ربط الفريق الإنتاجية المحجوزة بعدد الأقسام لمعالجة الأقسام الضعيفة. في المقابل أصبح لكل حد خدمة واجب تخطيط السعة. قد يشبع الانتقال من الاختبار الداخلي إلى حركة عامة كبيرة حاوية صغيرة معزولة، بينما لا يغير الارتفاع نفسه كثيرًا في تجمع مشترك ضخم. العزل نقل حدود الفشل لكنه لم يلغ توقع الطلب قبل الإطلاق.
عادت Habitat إلى المشاركة افتراضيًا مع تقييد المفاتيح الساخنة وخفض أولوية الأعمال الكثيفة ونسخة serverless طورت مع Azure. يقارن المقال سقفًا سابقًا قدره 5,000 RU/s للقسم المادي بوضع مخصص يصل إلى 10,000 RU/s ويقسم بناء على استهلاك RU وكذلك حجم التخزين. هذا تعاون محدد، وليس دليلًا على أن كل عميل Azure يستطيع تفعيل الإعداد نفسه. تحليلنا أن التجميع يستعيد جدواه حين يحمي ضبط الموارد العمل التفاعلي وتستجيب حلقة السعة للطلب.
لماذا احتاجت الخدمة المدارة اختبارات فشل مشتركة
تقول OpenAI إن أكبر حساب Cosmos DB لديها يخزن عشرات البيتابايت ويخدم أكثر من 20 مليون استعلام في الثانية. كشف انقطاع كهرباء في أواخر 2024 وحادث العودة بعد نحو شهر افتراضات غير مختبرة بهذا الحجم. أظهر انقطاع كهرباء أن أكبر الحسابات تحتاج عدة ساعات للتحويل إلى منطقة بديلة؛ وبعد نحو شهر أدت إعادتها إلى اندفاع اتصالات أغرق بوابة المنطقة الأصلية. أعاد العملاء الاتصال قبل عودة جميع الأقسام المادية المعنية. هاتان حادثتان في مرحلتين مختلفتين للتعافي، وليستا انقطاعًا واحدًا متصلًا.
تجاوز الرد شراء سعة إضافية. تراقب فرق Habitat وAzure الطبقات معًا وتختبر حسابًا غير إنتاجي بحجم الإنتاج وتطور SDK بصورة مشتركة وتستخدم تصعيدًا مباشرًا بين المهندسين. يذكر المقال أيضًا تخزين بيانات البوابة الوصفية مؤقتًا وحماية الحمل وإعادة استخدام الاتصالات وفصل العمل الحرج عن العمل غير المتصل. نستنتج أن على الفرق الأخرى اختبار التحويل والعودة معًا بحجم ممثل. إدارة المزود لقاعدة البيانات لا تتحقق تلقائيًا من سلوك اتصالات العميل أو مدة التعافي أو نطاق الأثر المقبول.
ما الذي يشمله تحسن القراءة بمقدار 12 ضعفًا
بحسب OpenAI تشكل القراءات أكثر من 90% من طلبات Habitat. تبدأ الاستراتيجية بوضع البيانات قرب المستخدمين حيث تسمح السعة، ثم نسخ عدد قليل من مجموعات صغيرة حساسة للزمن على نطاق واسع، واستخدام Valkey قريب لبقية الأجسام والعلاقات الشائعة. تُنسخ بعض الحسابات الحرجة في مناطق Azure الأربعين التي تقدم الخدمة، لكن ذلك لا يعني نسخ كل البيانات في كل مكان. يتنافس التخزين والحوسبة على الكهرباء والتبريد والمساحة. يبقى الموقع مفاضلة بين المنتج والسعة، لا ضمانًا لقرب غير محدود.
يعتمد الإبطال على تدفق تغييرات Cosmos DB: يبطل مستهلكو CDC النسخ المحلية بعد التحديث، وتعيد القراءة التالية تعبئتها. تذكر OpenAI انتشارًا عالميًا خلال ثوان، ما يدعم الحداثة دون الاعتماد فقط على انتهاء TTL؛ لكنه ليس اتساقًا لحظيًا. قللت إعادة الكتابة بـRust كلفة الخدمة أيضًا. معًا نقلت التغييرات p50 العالمي من نحو 120 إلى 10 مللي ثانية. يميز الرسم النسخ القريب والذاكرة الإقليمية وRust كتغييرات منفصلة. لا يجوز نسب 12 ضعفًا إلى Rust وحده أو تعميمه على الكتابة أو كامل زمن جواب ChatGPT لكل مستخدم.
اتساع CDC والحد بين المنشور وما يزال قيد التطوير
يغذي CDC كذلك الفهارس الثانوية ونقل البيانات والتحليلات. تبلغ OpenAI عن ملايين التغييرات في الثانية عبر آلاف الحاويات وملايين أقسام الحاويات وأكثر من مئة موضوع Kafka. توزع طبقة تحكم المناطق والعمال، وتحمي القراءة من النسخ والأولوية المنخفضة الحركة التفاعلية. يعالج عزل التدفقات وإدارة عقود الحجز وطوابير الرسائل الفاشلة وتبديل القراء أثناء أعطال المناطق أنماط فشل مختلفة. فصل تسليم فاشل دائمًا يمنع سد التدفق، لكنه لا يثبت أن جميع المستهلكين اللاحقين محدثون.
تظل الحدود مهمة: إخفاقات الذاكرة البطيئة تصل إلى تخزين بعيد، ولا يقدم المقال مقارنة مضبوطة تفصل كل تحسين أو ضمانًا عامًا لزمن الذيل. تطور OpenAI نظام إكسابايت بنواة RocksDB Cloud من Rockset وتكرار Raft ونموذج مستندات متوافق مع Cosmos. يهدف التخزين المفكك والتكرار المادي إلى تقليل حاجة الفلاش مقابل QPS أقصى أقل. ما يزال قيد التطوير، وليس بديلًا مكتملًا لـCosmos. قرأنا هذا الجزء الثاني ورسم القراءة؛ ولم نتحقق مستقلين من الجزء الأول أو مصادر SDK أو ضمانات الخدمة المرتبطة.
لماذا يهم
يمكن لفرق البنية التحتية مقارنة العزل وهامش السعة المجمع ومسؤولية التشغيل. حداثة الذاكرة والتعافي وزمن استجابة الذيل تحتاج معايير قبول منفصلة.
القيود والتوافر
هذه ادعاءات OpenAI وليست إعادة اختبار من AISubHub أو ضمانًا من Azure. لا يثبت المقال إتاحة الوضع serverless المخصص للجميع أو مزايا اشتراك جديدة أو تحسن زمن التطبيق بأكمله.
المصادر والأدلة
تاريخ المصدر: · تم التحقق من المصدر:
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.