विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
Deepgram के Trainium केस में मॉडल, कर्नेल और सेवा लागत अलग हैं
AWS का Nova-3 ऑफलाइन केस प्रति डॉलर अधिक ऑडियो बताता है, पर सामान्य बचत की गारंटी नहीं।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
19 अक्टूबर का केस Deepgram और AWS की कई महीनों की मेहनत से Nova-3 को Trainium2 ऑफलाइन बैच पर ढालने का वर्णन है। केवल एक्सेलरेटर बदलना हर वॉयस ऐप का बिल घटाने की गारंटी नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- एक trn2.3xlarge पर आठ प्रतियाँ चलीं और मूल्यांकन की कीमतों पर पुरानी व्यवस्था से प्रति डॉलर 11–70% अधिक ऑडियो बताया गया।
- स्थिर ग्राफ, कर्नेल और Rust सेवा के साथ संख्यात्मक संगति तथा शब्द त्रुटि दर जाँची गई।
बचत से पहले कार्यभार तय करें
Deepgram पहचान, संश्लेषण और वॉयस एजेंट देता है, पर यह काम कॉल विश्लेषण और चिकित्सा रिकॉर्ड जैसे Nova-3 ऑफलाइन ट्रांसक्रिप्शन का है। लेखक एक trn2.3xlarge पर आठ प्रतियों से प्रति डॉलर 11–70% अधिक ऑडियो बताते हैं। अधिक ऑडियो प्रति डॉलर का अर्थ प्रति ट्रांसक्रिप्शन लागत में उतनी ही प्रतिशत कमी नहीं। दरें मूल्यांकन के समय की हैं, सभी खातों का वर्तमान प्रस्ताव नहीं। रिपोर्ट सापेक्ष थ्रूपुट देती है, प्रति सेकंड ऑडियो की पूर्ण मात्रा नहीं; इससे उसी विन्यास के संवादात्मक एजेंट का व्यवहार भी सिद्ध नहीं होता।
पहले सही पोर्ट, फिर अनुकूलन
इंजीनियर PyTorch और TorchNeuron से शुरू हुए। तत्काल निष्पादन में CPU fallback देखा, फिर encoder और decoder को अलग स्थिर आकार के ग्राफ में compile किया। उनके अनुसार compiled रास्ते के सभी ऑपरेशन Trainium2 पर रहे और CPU fallback नहीं मिला। परतों की CPU आउटपुट से तुलना की तथा शब्द त्रुटि दर Deepgram के संदर्भ और लक्ष्य में रखी। कोई नया सार्वभौमिक सटीकता स्कोर नहीं दिया गया। अधिकतम थ्रूपुट के लिए बैच 1 से 128 जाँचे। हमारी व्याख्या में सही पोर्ट का प्रमाण और वास्तविक ट्रैफिक के लिए tuning अलग चरण हैं।
स्थानीय कर्नेल लाभों को गुणा न करें
Neuron Explorer से bottleneck खोजे गए और NAD ने NKI Library संदर्भों का विश्लेषण तथा कर्नेल लेखन में सहायता दी। weight tile दोबारा उपयोग से बैच 96 पर feed-forward latency आधी हुई; depthwise convolution को Vector Engine पर करने से उसी बैच पर 1.5 गुना लाभ बताया गया। कस्टम conv2d ने 32 से बड़े बैच की compilation बाधा हटाई। अधिकतम 50 गुना केवल 32 तक के बैच में convolution module का परिणाम है। अलग तुलना-दायरों को गुणा या पूरे ट्रांसक्रिप्शन की बचत नहीं कहा जा सकता। हमने profiles पुनः नहीं चलाए।
होस्ट runtime भी सुधार का हिस्सा
इस केस में एक प्रति एक physical NeuronCore में समाती है। LNC2 से LNC1 जाने पर Trainium2 में आठ logical core और आठ प्रतियाँ मिलती हैं। Rust server work-stealing queue, हर replica के लिए एक worker और C layer से libnrt के जरिए पहले compile NEFF चलाता है। serving path में Python या PyTorch नहीं है। सर्वोत्तम बैच पर multiprocessing Python के मुकाबले 7.5% अधिक थ्रूपुट बताया गया। छोटे decoder call में कम बैच पर host dispatch बाधा बनता है। इसका मतलब हर ऐप को Rust में लिखने से वही लाभ नहीं है।
विश्लेषण: पूरी सेवा का मूल्यांकन
पायलट में प्रतिनिधि ऑडियो और संदर्भ ट्रांसक्रिप्ट रखें, संबंधित वक्ताओं और रिकॉर्डिंग में त्रुटि दर जाँचें और स्वीकृत काम की मात्रा वास्तविक बिल से तुलना करें। compilation, warm-up, कतार, dispatch और recovery अलग दिखें। ये हमारे सुझाव हैं, लेखकों के अतिरिक्त परीक्षण नहीं। स्वयं hosting में deployment, observability और प्रवेश शर्तें भी हैं; SageMaker तथा engineering सहायता कोई सार्वभौमिक परियोजना मूल्य नहीं देती। सीख सहीपन, कर्नेल और production integration को साथ जाँचना है। परिणाम सीमित व्यवस्था का है, वॉयस सदस्यता में अपने आप जुड़ा अधिकार नहीं।
यह क्यों अहम है
बड़े ट्रांसक्रिप्शन ऑपरेटर गणना, मेमोरी ट्रैफिक और होस्ट डिस्पैच अलग मापकर माइग्रेशन तय कर सकते हैं।
सीमाएँ और उपलब्धता
ये प्रदाताओं के ऑफलाइन थ्रूपुट परिणाम हैं। हमने मॉडल या बिल नहीं जाँचे; सदस्यता मूल्य और रियलटाइम विलंब की गारंटी नहीं है।
स्रोत और प्रमाण
स्रोत की तारीख: 19 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।