تحليل معمق · قراءة نحو 6 دقائق
تدريب Qwen3 على Trainium: ثلاثة مسارات في torchtitan للتحقق من الأوزان والنوى
يربط دليل AWS بتاريخ 21 أكتوبر بين Transformers وQwen3 الأصلي ونوى NKI على مثيل Trainium2 واحد، دون إثبات أفضلية في السرعة أو التكلفة.
- نُشر هنا
- تاريخ المصدر
- تم التحقق من المصدر
يشرح دليل هندسي نشرته AWS في 21 أكتوبر تدريب Qwen3 باستخدام torchtitan على Trainium بثلاثة إعدادات: خلفية Transformers v5، وتنفيذ torchtitan الأصلي، ومثال مصغر لمزيج الخبراء يستخدم نوى NKI. الإضافة المفيدة هي خطوات تكامل محددة تشمل فحوص نقاط التحقق والنتائج العددية. وليس هذا إطلاق نموذج Qwen جديد أو اختبارًا يثبت أن التدريب أقل تكلفة.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- يستخدم الدليل مثيل trn2.48xlarge واحدًا: 16 مسرع Trainium2 و128 نواة NeuronCore مادية و64 منطقية عند LNC=2. ويبدأ أمر التشغيل 64 عملية تدريب.
- تستخدم أمثلة النماذج الكثيفة ملفات Qwen3-4B-Instruct-2507 وعشر خطوات تدريب على c4_test. ويُختزل مثال MoE إلى أربع طبقات و64 خبيرًا مع اختيار أربعة خبراء لكل رمز؛ ولا يدرب نموذج 30B-A3B الكامل دون تعديل.
- تذكر AWS خسارة قدرها 6.54 في الخطوة الأولى عند البدء بالأوزان المنشورة، مقابل 12.43 مع التهيئة العشوائية. ويسجل اختبار التضمين الدوراني المخصص فرقًا مطلقًا أقصى قدره 0.0 باستخدام مدخلات float32؛ وتتحقق هذه الأرقام من مسائل مختلفة.
تكامل واحد للجهاز وثلاثة مواضع لتغيير النموذج
يسجل TorchNeuron جهاز Trainium باسم neuron أصلي داخل PyTorch، مما يتيح لـtorchtitan استعمال الواجهات المعتادة. يبني المسار الأول النموذج بواسطة AutoModelForCausalLM في Transformers v5. ويختار الثاني تنفيذ Qwen3 الأصلي في torchtitan عبر config.model_spec. أما الثالث فيستخدم معاملات NKI الخاصة بـTrainium لطبقات مزيج الخبراء، ويعرض استبدالًا مخصصًا. إنها خيارات تنفيذ خلف نقطة دخول مشتركة للتدريب، وليست ثلاثة نماذج Qwen أُطلقت حديثًا.
يثبت الدليل torch 2.14.0 وtorch_neuronx 2.14.3 وTransformers 5.16.0 وtorchtitan-neuron release-2.33 بالإصدار 0.2.2+neuron.1. ويتطلب صورة Neuron Deep Learning AMI أو حاوية تدريب تحتوي برنامج التشغيل وبيئة التنفيذ والمترجم. قراءتنا أن شيفرة PyTorch المألوفة تقلل مساحة التكامل، لكنها لا تجعل مجموعة الاعتماديات المختبرة اختيارية. وتحذر AWS صراحة من أن تكامل Transformers ووحدات الاستبدال قد تتغير بين إصدارات torchtitan.
وصفة 4B تتحقق من التهيئة وقابلية نقل نقطة التحقق
يسمي الإعداد الأول Qwen/Qwen3-4B-Instruct-2507، ويستخدم c4_test، ويحدد عشر خطوات وحجم دفعة محلية يساوي واحدًا، ويوزع حالة توازي البيانات على الرتب الـ64 التي بدأها التشغيل. تحميل البنية مختلف عن تحميل الأوزان المنشورة. ويفعل إعداد الضبط الدقيق تحميل نقطة التحقق صراحة من الملفات المنزلة، ثم يصدر النموذج النهائي بصيغة Hugging Face safetensors. وتبلغ خسارة الخطوة الأولى المعلنة 6.54 مع الأوزان المنشورة مقابل 12.43 مع التهيئة العشوائية.
يساعد هذا الفرق على التحقق من التهيئة، لكنه لا يثبت أن عشر خطوات تنتج مساعدًا أفضل أو تحقق تقاربًا نهائيًا. وتعيد AWS تحميل نقطة التحقق المصدرة باستخدام Transformers لفحص مفاتيحها، مع مراعاة lm_head.weight المرتبط بالتضمينات. يبدأ المسار الأصلي من مُنشئ qwen3_32b لأن النسخة المختبرة لا تتضمن مُنشئ 4B عامًا؛ ثم يستبدل مواصفات النموذج بـ4B ويضبط حجم الدفعة العالمية على 64. لذلك لا يعني اسم المُنشئ أن المثال درب نموذجًا بحجم 32B.
إعداد MoE أصغر عمدًا مما يوحي به اسم العائلة
تُختزل وصفة Qwen3-30B-A3B إلى أربع طبقات و64 خبيرًا كي يتسع المثال في مثيل واحد. ويوجه top_k=4 كل رمز إلى أربعة خبراء. يستخدم المصدر تجزئة توازي البيانات على 64 رتبة، ودرجة توازٍ موترية تساوي واحدًا، دون توازٍ للخبراء. عدد الخبراء إعداد داخل النموذج، لا عدد أجهزة توازي الخبراء. ويمنع التمييز بينهما تحويل عرض تكامل صغير إلى ادعاء بتدريب النموذج الأصلي الكامل.
يعمل هذا المثال في وضع eager مع تعطيل الترجمة البرمجية في الإعداد. وتُدعم معاملات NKI المسجلة أيضًا تحت torch.compile، لكن تغيير نمط التنفيذ قرار منفصل. في النسخة المختبرة تستبدل الوصفة كتلة MoE بنوى خبراء مجمعة، وتختار انتباه حاصل الضرب النقطي المحجم وتضمينًا دورانيًا لا يحتاج gather. وتشرح AWS كيفية إضافة autograd للمعاملات باستخدام معلومات محفوظة أثناء المرور الأمامي. ولا تقدم مقارنة إنتاجية تثبت أن هذا الإعداد بالذات أسرع.
النواة المخصصة تحتاج فحص ترتيب البيانات والتدرجات ومواضع التطبيق
يوضح مثال التضمين الدوراني أن التسجيل يتجاوز مجرد استدعاء نواة. يخزن torchtitan بيانات query وkey بترتيب الدفعة والتسلسل والرؤوس وبُعد الرأس، بينما يتوقع rope_hf ترتيب الدفعة والرؤوس والتسلسل وبُعد الرأس. يغير الغلاف هذا الترتيب، ويوفر ذاكرة للمخرجات، ثم يعكس التحويل. ويعيد معامل خلفي منفصل استخدام ذاكرة التضمين الدوراني المحفوظة، فيما لا تُحسب تدرجات للذاكرة نفسها. يجب أن يكون طول التسلسل من مضاعفات 128 مضروبًا في LNC، أي 256 عندما يساوي LNC اثنين.
يستبدل سجل الاستبدالات بعد ذلك إعداد الوحدة المطلوبة. وينبغي أن تعرض سجلات البدء استبدال nki_rope واحدًا لكل طبقة Qwen3؛ ويمكن لأنماط أسماء أضيق تحديد طبقات بعينها. وتذكر AWS فرقًا مطلقًا أقصى مقداره 0.0 لكل من query وkey في مقارنة float32 مع تنفيذ PyTorch. وهذا يتحقق من ذلك الاختبار العددي، لا من جميع أنواع البيانات أو الأشكال أو عمليات التدريب. ويعرض المقال المثال صراحة باعتباره تكاملًا للنواة مع الاشتقاق الآلي، لا تحسينًا في الأداء.
تحويل الدليل إلى تجربة أولية قابلة للقياس
تشمل الخطوة الأولى الترجمة البرمجية فتستغرق وقتًا أطول من الخطوات اللاحقة. تعرض سجلات التدريب الخسارة ومعيار التدرج واستخدام الذاكرة عالية النطاق والإنتاجية واستغلال FLOPs للنموذج، لكن الدليل لا يوفر مقارنة مضبوطة للتكلفة الكاملة. ومع زيادة حجم النموذج أو طول التسلسل أو الدفعة المحلية، تظل الذاكرة لكل رتبة قيدًا عمليًا. يمكن الجمع بين التوازي الموتري وتوازي البيانات المجزأ بالكامل على DeviceMesh متعدد الأبعاد؛ ولا ينبغي اعتبار إعداد MoE المعروض تلك التجربة الأوسع.
تقترح AISubHub الحفاظ على الإصدارات المختبرة، والتحقق من النموذج المحدد والرتب الـ64، وفحص تحميل نقطة التحقق وتصديرها، ومقارنة مخرجات النواة المخصصة قبل بدء تشغيل طويل. ثم تُقاس مرحلة الإحماء منفصلة عن التنفيذ المستمر ويُقيّم التقارب على البيانات المقصودة. احفظ نقاط التحقق المطلوبة قبل إيقاف العتاد المستأجر أو إنهائه. هذه خطوات تقييم استنبطناها من الدليل، وليست نتائج أعدنا إنتاجها؛ ولا تثبت حقوق اشتراك أو حصة تدريب مجانية أو أفضلية عامة لـTrainium.
لماذا يهم
تحليل AISubHub: تستطيع الفرق فصل توافق النموذج وقابلية نقل نقاط التحقق وصحة النوى إلى اختبارات أصغر قبل تنفيذ تدريب كامل. تقلل بنية التشغيل المشتركة التغييرات بين الوصفات، لكنها لا تلغي متطلبات الإصدارات والذاكرة والترجمة البرمجية والسلوك العددي.
القيود والتوافر
هذا دليل تقني من تأليف Josh Longenecker وAlex Hoffman من AWS، وليس اختبار عتاد أجرته AISubHub. لا يقدم تكلفة قابلة للمقارنة للتدريب الكامل أو نتيجة تقارب نهائية أو تسريعًا مثبتًا للنواة المخصصة. يظل توافر المثيل ورسومه وإصدارات البرمجيات الدقيقة والتحقق من عبء العمل مسؤولية المشغل. ولم يُعلن عن مزايا لاشتراكات المستهلكين.
المصادر والأدلة
تاريخ المصدر: · تم التحقق من المصدر:
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.