تحليل معمق · قراءة نحو 4 دقائق
Laplace 3B على Trainium2: الحالة الثابتة لا تعني ذاكرة مثالية
يفصل تقرير i14 وAWS بين حجم الحالة واتصالات المحسن وتكلفة الترجمة البرمجية الواقعية.
- نُشر هنا
- تاريخ المصدر
- تم التحقق من المصدر
يشرح مقال AWS المنشور في 20 أكتوبر تدريب Laplace 3B من i14 وتشغيله على Trainium2 عبر PyTorch الأصلي. يتميز بحالة تكرارية ثابتة بدلا من ذاكرة KV تنمو مع السياق. المهم تحديد القيد الذي تغير وما يبقى من أسئلة الجودة والتجميع والنشر.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- يورد التقرير حالة بحجم 29.5 MB لكل تسلسل وإجمالي 11544 رمز خرج في الثانية عبر 1280 تسلسلا على trn2.48xlarge واحدة؛ ليست الذاكرة الكلية ولا سرعة المستخدم الواحد.
- تستهدف الوصفة 100 مليار رمز، لكن النتائج عند نحو 44 مليارا. خفض الاتصال 24 مرة وزيادة إنتاجية التدريب 1.63 مرة مقياسان مختلفان.
حالة ثابتة تعني تاريخا مضغوطا
تحتفظ آلية softmax عادة بمفاتيح وقيم تزيد مع السياق أثناء الاستدلال. يحدث Laplace 3B مصفوفة تكرارية عبر Gated Linear Attention ويضغط السابق في 29.5 MB لكل تسلسل. يصبح حساب الانتباه في التدريب خطيا في طول التسلسل بدلا من تربيعي. لكن الأوزان والتنشيطات ومعالجة الإدخال والمخازن الأخرى لا تختفي. كما يغير الضغط المعلومات القابلة للاسترجاع. تطلب المصدر صراحة تقييم الاسترجاع حسب الحمل؛ احتواء محادثة طويلة في الذاكرة لا يثبت بقاء كل تفصيل قديم بالدقة المطلوبة.
تكييف العتاد والاتصال تحسينان مختلفان
استبدل الفريق نواة Triton الخاصة بمعالج الرسوم بعمليات PyTorch. تتوافق 16 كتلة من 128 رمزا مع 128 قسما في المخزن، وينسب التقرير إلى ذلك تحسنا 14%. أما Muon فاحتاج علاقات بين أجزاء التدرجات الموزعة. يوزع تبادلان all-to-all مصفوفات كاملة للعمل المتوازي ويعيدان النتائج. ينخفض المرور لكل رتبة من 10.87 GB إلى 0.45 GB، بينما ترتفع الإنتاجية من 73378 إلى 119934 رمز في الثانية. لا يصح تحويل انخفاض الاتصال 24 مرة إلى تسارع تدريب 24 مرة.
الخطة ليست تدريبا مكتملا
تصف الإعدادات 3.028 مليار معامل و24 طبقة ووصفة FineWeb-Edu من 100 مليار رمز. لكن النتائج تصل إلى الخطوة 84210، نحو 44 مليار رمز، وليس كل الخطوات المخططة البالغة 190735. تخص سرعة نحو 120000 رمز في الثانية وانخفاض الخسارة تلك المرحلة. الاستقرار مفيد لتقييم التنفيذ، لكنه ليس اختبار تطبيق أو مقارنة مع جميع المحولات أو إثباتا لذاكرة الحقائق. نميز بين نجاح نقل البنية إلى العتاد وبين منفعتها التي تحتاج برهانا في المهمة المحددة.
الإنتاجية الإجمالية مرتبطة بالتزامن
يستخدم الاختبار trn2.48xlarge واحدة و64 نواة NeuronCore منطقية، مع 20 تسلسلا لكل نسخة و1280 إجمالا. تتشارك هذه الحمولة في 11544 رمز خرج في الثانية. مقارنة الحالة الأصغر بنحو 82 مرة تخص ذاكرة KV مماثلة عند 8192 رمزا، وليست فاتورة المشروع كلها. رفع المدخلات من 2048 إلى 8192 رمزا أضاف 0.5% إلى تكلفة رمز الخرج في هذه التجربة. تبقى معالجة المدخل وتخصيص العتاد والجودة والاستغلال عوامل أساسية في الميزانية الحقيقية.
الوصول الحقيقي يكشف تكلفة التجميع
احتاج عرض دفعة فك ترميز جديد نحو 11 ثانية تجميع عند أول استخدام. كانت هذه الخطوات 1.1% فقط لكنها استهلكت 47.5% من وقت فك الترميز. أزال الحشو إلى عروض ثابتة الكلفة، واختلف التحسن مع الوصول المتدرج عن الدفعات الثابتة. يحذر المصدر أيضا من أن إعادة تجميع عمليات BF16 قد تجعل الخرج المترجم يختلف قليلا عن eager، ويقترح الأخير للتطابق الدقيق. ينبغي اختبار الوصول الحقيقي والتأخيرات الطرفية والتحمل العددي والاسترجاع معا. هذه توصياتنا، لا ادعاء نشر أو توفير مقاس من AISubHub.
لماذا يهم
تحليلنا أن الحالة الثابتة قد تسهل تخطيط السعات للجلسات الطويلة، لكن يلزم اختبار استرجاع المعلومات ونمط الوصول الحقيقي معا. البنية وبيئة التنفيذ لا تنفصلان في القرار.
القيود والتوافر
قرأنا النص والتعليقات التوضيحية كاملة ولم نشغل الكود أو النموذج. النتائج تخص مشروع i14/AWS وليست قياساتنا. لا تثبت سعر اشتراك أو عتادا مجانيا أو أفضلية عامة أو ضمان خدمة. استُخدم TorchNeuron Native في النسخة التجريبية.
المصادر والأدلة
تاريخ المصدر: · تم التحقق من المصدر:
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.