विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
Trainium2 पर Laplace 3B: स्थिर अवस्था का अर्थ संपूर्ण स्मृति नहीं
i14 और AWS का विवरण स्मृति, ऑप्टिमाइज़र संचार और वास्तविक कंपाइलेशन लागत को अलग करता है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
20 अक्टूबर के AWS तकनीकी लेख में i14 के Laplace 3B का Trainium2 पर native PyTorch से प्रशिक्षण और संचालन बताया गया है। बढ़ते KV cache की जगह स्थिर recurrent state इसका मुख्य अंतर है। सवाल यह है कि कौन सी संसाधन सीमा बदलती है और गुणवत्ता तथा संचालन में क्या अभी परखना है।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- प्रति अनुक्रम 29.5 MB अवस्था और एक trn2.48xlarge पर 1280 अनुक्रमों का कुल 11544 output tokens/second बताया गया है। यह कुल स्मृति या प्रति उपयोगकर्ता गति नहीं है।
- प्रशिक्षण लक्ष्य 100 अरब tokens है, परिणाम लगभग 44 अरब तक हैं। संचार में 24 गुना कमी और throughput में 1.63 गुना वृद्धि अलग माप हैं।
स्थिर अवस्था इतिहास का संपीड़न है
सामान्य softmax inference में संदर्भ बढ़ने पर keys और values बढ़ती हैं। Laplace 3B Gated Linear Attention से recurrent matrix बदलकर इतिहास को प्रति अनुक्रम 29.5 MB में समेटता है। प्रशिक्षण के attention की लागत लंबाई के वर्ग से रैखिक हो जाती है। लेकिन weights, activations, input processing और अन्य buffers समाप्त नहीं होते। संपीड़न यह भी बदलता है कि कौन सी जानकारी वापस मिलेगी। स्रोत स्वयं workload के अनुसार retrieval जांचने को कहता है। लंबी बातचीत का स्मृति में समाना प्रमाण नहीं कि हर पुराना विवरण आवश्यक सटीकता से उपलब्ध रहेगा।
हार्डवेयर अनुकूलन और संचार अलग लाभ हैं
टीम ने GPU-विशिष्ट Triton kernel को PyTorch operators से बदला। 128 tokens के 16 chunks, buffer की 128 partitions से मेल खाते हैं; लेख इस alignment से 14% सुधार बताता है। Muon की समस्या अलग थी: बंटे gradients को cross-shard संबंध चाहिए। दो all-to-all आदान-प्रदान पूरी matrices बांटकर समानांतर काम कराते और परिणाम वापस लाते हैं। प्रति rank traffic 10.87 GB से 0.45 GB, throughput 73378 से 119934 tokens/second हुआ। संचार 24 गुना कम होने को प्रशिक्षण 24 गुना तेज बताना गलत होगा।
योजना और पूरा हुआ प्रशिक्षण अलग रखें
Configuration में 3.028 अरब parameters, 24 layers और FineWeb-Edu के 100 अरब tokens की योजना है। दिखाए गए परिणाम step 84210, करीब 44 अरब tokens तक हैं, पूरे नियोजित 190735 steps तक नहीं। लगभग 120000 tokens/second और घटता loss इसी अंतराल का परिणाम हैं। स्थिरता implementation के बारे में उपयोगी संकेत है, लेकिन application benchmark, सभी transformers से श्रेष्ठता या factual recall का प्रमाण नहीं। हमारी व्याख्या hardware port की उपलब्धि और किसी खास काम में साबित की जाने वाली उपयोगिता को अलग रखती है।
कुल throughput को concurrency के साथ पढ़ें
Inference में एक trn2.48xlarge के 64 logical NeuronCores पर replica के 20 अनुक्रम, कुल 1280 हैं। 11544 output tokens/second इन सबका साझा कुल है। लगभग 82 गुना छोटा state, 8192 tokens पर तुलनीय KV cache से तुलना है, पूरी बिल राशि से नहीं। Prompt को 2048 से 8192 tokens करने पर output token लागत 0.5% बढ़ी, पर इसी प्रयोग में। असली बजट में input processing, hardware allocation, गुणवत्ता और utilization अब भी मायने रखते हैं।
वास्तविक आगमन छिपी compile लागत दिखाता है
नई decode batch width को पहली बार करीब 11 सेकंड compilation चाहिए था। ये steps कुल के 1.1% थे पर decode time का 47.5% लेते थे। Fixed widths तक padding ने लागत हटाई; staggered arrivals का लाभ fixed batches से अलग निकला। स्रोत BF16 reassociation से compiled और eager output में छोटे अंतर भी बताता है और exact reproducibility के लिए eager का विकल्प देता है। Pilot में वास्तविक arrivals, tail delay, numerical tolerance और retrieval साथ जांचें। यह हमारी परीक्षण सलाह है, AISubHub की तैनाती या बचत का दावा नहीं।
यह क्यों अहम है
हमारा विश्लेषण: स्थिर अवस्था लंबे सत्रों की क्षमता योजना में उपयोगी हो सकती है, लेकिन सूचना वापस पाने की गुणवत्ता और वास्तविक अनुरोध आगमन को साथ परखना होगा। संरचना और runtime दोनों मायने रखते हैं।
सीमाएँ और उपलब्धता
हमने पूरा लेख और चित्र विवरण पढ़े, कोड या मॉडल नहीं चलाया। परिणाम i14/AWS के हैं, हमारे नहीं। सदस्यता मूल्य, मुफ्त हार्डवेयर, सार्वभौमिक श्रेष्ठता या उत्पादन गारंटी स्थापित नहीं होती। TorchNeuron Native का beta इस्तेमाल हुआ।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।