تحليل معمق · قراءة نحو 6 دقائق
SGLang-TorchTPU يتيح خدمة النماذج عبر PyTorch أصلي على TPU، مع بقاء أهمية مستويات الدعم
يحافظ الملحق المفتوح على بنية SGLang ويضيف نوى TPU ومجموعات أشكال مترجمة ونقل KV. أما تجربة التعلم المعزز فما زالت في المعاينة.
- نُشر هنا
- تاريخ المصدر
- تم التحقق من المصدر
أعلن فريق SGLang في RadixArk وGoogle وMeta عن SGLang-TorchTPU يوم20 أكتوبر. يوفر الإصدار مسار PyTorch أصليًا لخدمة النماذج على وحدات TPU في Google Cloud. قرأنا شرح الإطلاق كاملًا، وإعلان منظومة Google Cloud، والنسخة المعدلة من ورقة بنية TorchTPU لفحص الآلية والاختبارات والأجزاء التي ما زالت تجريبية.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- يحتفظ الملحق بمجدول SGLang وRadixAttention وخادم API، ويضع تحتها نوى خاصة بـTPU ومخازن للتخزين المؤقت وتنفيذًا مترجمًا.
- يفيد الإصدار بوجود193 اختبار TPU مسجلًا يغطي15 نموذجًا. هذه فحوص تنفيذ ذات مستويات دعم، وليست ترتيبًا جديدًا لجودة النماذج أو ضمانًا لكل إعداد.
- التعلم المعزز عبر Miles على TPU في المعاينة. تقارن تجربة أربع شرائح TPU ومرجع ست وحدات H200 سلوك التعلم المبكر، ولا تثبت تساوي سرعة التدريب أو تكلفته.
يبقى التطبيق مألوفًا بينما تتغير واجهة التنفيذ الخلفية
SGLang-TorchTPU ملحق خارج شجرة المصدر الرئيسية، وليس إعادة كتابة منفصلة لمجدول الخدمة. يسجل منصة TPU ويوفر عمليات الانتباه، ومخازن مفاتيح وقيم مقسمة إلى صفحات، ونوى خليط الخبراء ومشغل رسوم حسابية. تعمل كل نواة TPU بعملية PyTorch خاصة بها. يمر النموذج عبر torch.compile إلى XLA، وهي حزمة الترجمة المستخدمة في TPU. يضع إعلان Google الأوسع هذا إلى جانب vLLM وTorchTitan وتكاملات أخرى، لكن إدراجها لا يعني تساوي نضج كل إطار أو نموذج.
تميز ورقة TorchTPU الأساسية بين التنفيذ الفوري غير المتزامن المعتاد، وتصحيح الأخطاء المتزامن، ووضع DeferAndFuse الاختياري الذي يجمع العمليات. وهذا مهم: سهولة التنقيح خطوة بخطوة وكفاءة التشغيل الإنتاجي المتكرر وضعان مختلفان، لا وعد بوصول حمل فوري غير معدل إلى الأداء الأقصى.
تبادل مجموعات الأشكال المترجمة تنوع الأشكال بإعادة استخدام البرامج
في خدمة SGLang، يحشو المشغل أعمال الملء الأولي ضمن مجموعات بحسب عدد الرموز، وفك الترميز ضمن مجموعات بحسب حجم الدفعة. تُترجم المجموعة مرة واحدة، ثم تستخدم الخطوات التالية برنامجها المخزن عند تطابق الشكل. توفر Pallas نوى الانتباه وحساب الخبراء، وتسجل كعمليات PyTorch مخصصة داخل الرسم المترجم. هكذا يجتمع كود النموذج المألوف مع عمل خاص بالعتاد في الطبقات السفلى.
قراءتنا هي ضرورة قياس إحماء الترجمة منفصلًا عن التنفيذ المتكرر. الخدمة ذات أطوال التعليمات والوصول المتغيرين تحتاج لاختبار التغطية الفعلية للمجموعات وكلفة الحشو. تصف الورقة دعم الديناميكية المحدودة الأعم بأنه ما زال قيد التطوير النشط؛ فلا ينبغي افتراض أنه يلغي كل إعادة ترجمة في إعداد منشور.
إعادة استخدام البادئة ونقل KV يعالجان اختناقات مختلفة
يعيد RadixAttention استخدام المعالجة المخزنة لبادئات التعليمات المشتركة. أما TPU Sync فيعالج مشكلة أخرى: تحريك صفحات المفاتيح والقيم بين المسرع وذاكرة المضيف، أو بين مضيفين منفصلين للملء الأولي وفك الترميز. في مسار السحب من جهة المستهلك الموصوف، يسترجع فك الترميز الأجزاء المكتملة بينما يُحسب الجزء التالي من الملء. الصفحات الموجودة أصلًا في مخزن بادئات فك الترميز لا تُرسل ثانية، ويمكن إعادة توزيع تخطيطات التوازي التنسوري المختلفة أثناء النقل.
قد تمنع هذه الآليات حسابًا متكررًا أو حركة غير ضرورية، لكنها لا تلغي ميزانيتي الذاكرة والاتصال. تختلف فرص إعادة الاستخدام بين وكيل بتعليمات متكررة وتدفق طلبات غير مترابطة. يجب فحص فائدة إفراغ الذاكرة أو فصل المضيفين مقابل التأخير الفعلي وحركة النقل والسعة، لا استنتاجها من وجود ميزة للتخزين المؤقت.
أرقام التوافق تحتاج إلى تعريف الاختبارات ومقاماتها
تغطي الاختبارات الـ193 المعلنة عند الإطلاق 15 نموذجًا على TPU v7x بمضيف واحد ومضيفين متعددين، مع فحوص طلبات الدمج وتشغيل ليلي. يصف جدول الميزات المخرجات المنظمة واستدعاء الدوال، وكذلك توازي خط الأنابيب وتنفيذ خبراء NVFP4، بأنها تجريبية. وبعض النماذج المضافة حديثًا ما زال قيد التحقق. لذلك لا يحسم اسم النموذج وحده التركيبات القابلة للاستخدام أو حالة التحسين.
توضح الورقة الأوسع فرقًا آخر في المقام: نجح4821 من4917 نموذجًا في اختبار عدم التعطل، بما وصفه المؤلفون بأنه98%؛ ونجح638 من657 ممثلًا معماريًا في التكافؤ العددي، أي97% بحسب التقرير. تختلف الاختبارات والمجموعات. لا يعني أي رقم أن آلاف النماذج تلقت التحقق نفسه من الدقة وجودة المهمة وأداء الإنتاج.
استنتاج تجربة التعلم المعزز أضيق من مقارنة عامة للعتاد
يربط Miles مسارات التدريب التي يولدها SGLang، وتدريب TorchTitan ومزامنة الأوزان المحدثة. يدرب المثال Qwen3-4B بخوارزمية GRPO على DAPO-Math-17k: مضيف TPU v7x واحد بأربع شرائح، موزعة بالتساوي بين التدريب وتوليد المسارات. يستخدم المرجع ست وحدات GPU من H200 بالوصفة والمعاملات الفائقة نفسها، وبذرتين عشوائيتين لكل منصة. يفيد المؤلفون بتشابه سلوك المكافأة وطول الرد ضمن تفاوت البذور، وبقاء فروق AIME-24 ضمن ضوضاء التقييم.
يدعم ذلك مقارنة محدودة للتعلم المبكر، لا تساوي معدل الإنجاز أو الإنفاق بين تخصيصات العتاد تلك. يستخدم التشغيل الفعلي الذاكرة المشتركة لنقل الأوزان. يعمل نقل نقاط التحقق عبر القرص بين المضيفين لكنه موصوف بالأبطأ؛ أما النقل المباشر بين الأجهزة عبر ICI فما زال مخططًا. يبقى التدريب متعدد المضيفين والتحقق الأطول وتقليص فرق زمن الخطوة مع GPU أعمالًا مستقبلية.
تجربة انتقال مفيدة تفحص النتائج، لا مجرد بدء التشغيل
توصية AISubHub العملية تجربة محددة النطاق: تثبيت نقطة التحقق والدقة، وتأكيد مستوى الدعم المطلوب، وحفظ مدخلات معروفة، وقياس الترجمة ومعدل الإنجاز المتكرر وزمن الاستجابة عند المئينات العليا وإعادة استخدام المخزن وصحة المخرجات. يجب إدراج الموارد السحابية المحجوزة والفاتورة الفعلية. يتطلب عرض السعة المجتمعية تقديم طلب من المساهمين، وليس استحقاقًا غير مقيد لوحدات TPU مجانية.
هذا إصدار لخدمة النماذج بتاريخ20 أكتوبر، وليس إعلان نموذج جديد اليوم. ظهرت ورقة البنية أول مرة في16 أكتوبر، وعُدلت النسخة المقروءة في20 أكتوبر؛ واكتشافها عبر RSS في21 أكتوبر لا يمثل أول تقديم. نجمع هذه المواد في تحليل تنفيذ واحد. يستمر دعم SGLang-JAX وصيانته، ولا ينبغي وصف الواجهة الخلفية الجديدة بأنها إيقاف له.
لماذا يهم
تحليل AISubHub: قد يقلل إبقاء تطبيق الخدمة في PyTorch تفرع البرمجيات أثناء الانتقال. لكن القرار يعتمد على نقطة التحقق المحددة، والميزات المدعومة، وسلوك الترجمة، وجودة المخرجات، وسعة العتاد والفاتورة المقاسة لحمل العمل المقصود.
القيود والتوافر
جميع نتائج الأداء والتوافق المذكورة هنا تعود إلى مؤلفي المصادر. لم يشغّل AISubHub الحزمة، ولم يستأجر TPU أو يعِد الاختبارات. قرأنا شروح الأشكال دون فحص مستقل لبكسلات المنحنيات. البرمجيات المفتوحة لا تتضمن حجزًا سحابيًا أو حوسبة مجانية للجميع أو مزايا اشتراكات استهلاكية.
المصادر والأدلة
تاريخ المصدر: · تم التحقق من المصدر:
تاريخ المصدر: · تم التحقق من المصدر:
تاريخ المصدر: · تم التحقق من المصدر:
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.