विस्तृत विश्लेषण · लगभग 6 मिनट पढ़ना
Granite Speech 5: सटीकता, प्रोसेसिंग क्षमता और वक्ता-पहचान को अलग समझें
IBM के तीन वाणी मॉडल अपडेट में भाषाओं, थ्रूपुट और वक्ता से जुड़े त्रुटि-मापों की सीमाएँ अलग हैं।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
IBM की21 अक्टूबर की घोषणा में नया Granite Speech 5.0 2B और संशोधित Turbo CTC व 4.1 2B Plus हैं। चुनाव से पहले तय करना होगा कि बहुभाषी प्रतिलेखन या अनुवाद, तेज ऑडियो प्रोसेसिंग, या वक्ता और समय से जुड़ा पाठ चाहिए। नीचे के परिणाम IBM के लेख के हैं, AISubHub द्वारा मॉडल चलाकर किए गए परीक्षण के नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- नया2B मॉडल छह ASR भाषाएँ बताता है, Turbo सात। मंदारिन में अनुवाद देना मंदारिन ASR का प्रमाण नहीं है।
- Turbo का19,870 RTFx बेंचमार्क थ्रूपुट है; Plus समय, शब्द और वक्ता-निर्धारण की त्रुटियाँ अलग मापता है।
वर्जन नंबर से पहले आवश्यक आउटपुट चुनें
तीनों नाम अलग काम दर्शाते हैं। granite-speech-5.0-2b सटीक प्रतिलेखन और अनुवाद के लिए नया वाणी-भाषा मॉडल है। अपडेट किया गया granite-speech-5.0-470m-turboctc उच्च थ्रूपुट और डिवाइस पर प्रतिलेखन के लिए 470 मिलियन पैरामीटर वाला एनकोडर बनाए रखता है। ऑडियो तेजी से प्रोसेस करना और अनूदित पाठ बनाना अलग जरूरतें हैं; साझा5.0 नाम दोनों को एक-दूसरे का विकल्प नहीं बनाता।
अपडेटेड granite-speech-4.1-2b-plus बैठकों, सहायता कॉल और कई वक्ताओं वाली लंबी रिकॉर्डिंग के लिए है। IBM के अनुसार आर्किटेक्चर, प्रॉम्प्ट प्रारूप और API नहीं बदलते, इसलिए 4.1 नाम बना रहता है और नए वज़न सीधे प्रतिस्थापन के रूप में पेश होते हैं। हमारा विश्लेषण: बैठक में किसी व्यक्ति के शब्द कहाँ हैं, यह खोजना छोटे ऑडियो की औसत पहचान-सटीकता से अलग जरूरत है। तीनों उत्पादों को एक गुणवत्ता-रैंकिंग में समेटना उचित नहीं।
भाषा की दिशा और शब्द-सूचियों की सीमाएँ
2B मॉडल अंग्रेज़ी, फ़्रेंच, जर्मन, स्पेनिश, पुर्तगाली और जापानी का प्रतिलेखन करता है। अनुवाद अंग्रेज़ी और बाकी पाँच भाषाओं के बीच दोनों दिशाओं में है; साथ में अंग्रेज़ी से इतालवी और मंदारिन में अनुवाद दिया गया है। अंतिम क्षमता अनुवाद का आउटपुट है: इससे मंदारिन ASR सूची में नहीं जुड़ता और उलटी दिशा सिद्ध नहीं होती। Turbo की सात ASR भाषाएँ ऊपर की छह भाषाओं में इतालवी जोड़ती हैं।
IBM 390,000 घंटे के सार्वजनिक प्रशिक्षण ऑडियो के अतिरिक्त जापानी ASR, कीवर्ड बायसिंग और अनुवाद के लिए सिंथेटिक डेटा बताता है। लेख में प्रॉम्प्ट से भाषा बताना, अनुरोध पर विरामचिह्न और बड़े अक्षर, तथा प्रतिलेखन और अनुवाद को दिशा देने वाली अधिकतम 2,000 शब्दों की सूचियाँ भी हैं। बायसिंग नाम या संक्षिप्त रूप को प्राथमिकता दे सकती है, लेकिन यह प्रमाण नहीं कि दिया गया शब्द वास्तव में बोला गया था। आगे Plus की तुलना20 शब्दों की सूची पर है,2,000 की सीमा पर नहीं।
Conformer का बदलाव थ्रूपुट का दावा है
IBM कहता है कि एक Conformer ब्लॉक को कम्पाइल करके उसके ग्राफ का पूरे स्टैक में दोबारा उपयोग किया गया। इससे वार्मअप घटा और समान रिपोर्टेड सटीकता पर Turbo CTC लगभग 12,600 से19,870 RTFx तक पहुँचा, यानी लगभग 1.6×। RTFx वास्तविक समय का व्युत्क्रम गुणक है: बेंचमार्क व्यवस्था में यह ऑडियो की अवधि के सापेक्ष प्रोसेसिंग क्षमता दर्शाता है। यह किसी एक अनुरोध का उत्तर आने तक का विलंब नहीं मापता।
लगातार अधिक ऑडियो प्रोसेस होने पर भी बफ़रिंग, स्टार्टअप, बैच या नेटवर्क के कारण उपयोगकर्ता प्रतीक्षा कर सकता है। यह तुलना उन एंड-टू-एंड विलंबों या किसी खास डिवाइस की निश्चित गति को स्थापित नहीं करती। हमारा निष्कर्ष ग्राफ के पुनः उपयोग को जाँचने योग्य अनुकूलन-तंत्र मानना है, न कि संवाद 1.6× तेज होने का वादा करना।
Plus की तालिका में अलग-अलग त्रुटियाँ हैं
4.1 2B Plus में IBM का सभी ऑडियो का औसत टाइमस्टैम्प खिसकाव AAS 210.86 से98.54 होता है; छोटे ऑडियो की पंक्ति29.27 से26.20 होती है। दिखाई गई तालिका AAS की इकाई नहीं बताती, इसलिए इसमें मिलीसेकंड नहीं जोड़ सकते। लंबे ऑडियो का WER 13.53→10.22, शब्दों को वक्ता से जोड़ने का WDER 4.40→4.10 और वक्ता-संबद्ध प्रतिलेखन का cpWER 30.50→28.48 है।
20 शब्दों की सूची के साथ प्राथमिकता वाले शब्दों का WER 11.79→6.48 है। IBM लंबे ऑडियो और इन शब्दों के सुधार को लगभग 24% और 45%, तथा वक्ता-संबंधी सुधार को करीब 7% बताता है। ये सापेक्ष कमी हैं, इतने ही प्रतिशत अंकों की गिरावट नहीं:13.53−10.22 दिए गए WER पैमाने पर 3.31 अंक हैं। बेहतर समय-संरेखण यह जाँचने की जगह नहीं ले सकता कि शब्द और उन्हें दिए गए वक्ता सही हैं।
चार्ट का विरोध और उत्पादन सीमाएँ खुली रखें
IBM के स्थिर अंग्रेज़ी छोटे-ऑडियो चार्ट में2B का औसत WER 5.06% है। कैप्शन इसे21 अक्टूबर तक का आधिकारिक परिणाम बताता है, जबकि एम्बेड किए गए तुलनात्मक चार्ट का फ़ुटर 15 अक्टूबर तक का अनौपचारिक परिणाम कहता है और उसे केवल सार्वजनिक अंग्रेज़ी छोटे-ऑडियो टेस्ट और खुले-वज़न मॉडलों तक सीमित करता है; iframe नौ टेस्ट सेट बताता है। हम तारीख और आधिकारिक दर्जे के इस विरोध को बनाए रखते हैं। चार्ट पढ़ना वर्तमान आधिकारिक रैंकिंग या बहुभाषी और लंबी रिकॉर्डिंग की गुणवत्ता का स्वतंत्र सत्यापन नहीं है।
IBM तीनों के लिए Apache 2.0 और Transformers का मूल समर्थन बताता है;2B के लिए vLLM, llama.cpp और Apple Silicon पर mlx-audio भी हैं। हमारा विश्लेषण पहले आउटपुट चुनने, फिर इच्छित स्टैक में प्रतिनिधि उच्चारण, शोर, शब्दावली, टाइमस्टैम्प और वक्ताओं की जाँच करने का है। लाइसेंस होस्टिंग लागत, उत्पादन डेटा की अनुमति, गोपनीयता या सेवा उपलब्धता की गारंटी नहीं देता। हमने मॉडल नहीं चलाए, लिंक किए मॉडल कार्ड नहीं जाँचे और ब्राउज़र डेमो नहीं आजमाया; घोषणा सामान्य उत्पादन मूल्य या क्षेत्रीय पहुँच की गारंटी भी नहीं देती।
यह क्यों अहम है
AISubHub का विश्लेषण: प्रतिलेखन गुणवत्ता, प्रोसेसिंग क्षमता और वक्ता-आधारित खोज को अलग विकल्पों के रूप में समझना उपयोगी है। स्थानीय मूल्यांकन में इन्हें एक प्रमुख स्कोर से बदलने के बजाय अलग जाँचना चाहिए।
सीमाएँ और उपलब्धता
यह IBM-लिखित घोषणा और उसके स्वयं बताए परिणामों की व्याख्या है, जिसमें विरोधी चार्ट लेबल भी शामिल हैं। यह स्वतंत्र बेंचमार्क, वर्तमान रैंकिंग, उत्पादन मूल्य या मंदारिन ASR का प्रमाण नहीं।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।