विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
VocabX: पुर्तगाली निबंध मूल्यांकन में शब्दावली को लागत का निर्णय मानना
Dharma-AI का शोध पूर्वावलोकन लागत-भारित टोकनाइज़र, एक वास्तविक रनटाइम वाला मूल्यांकन प्रयोग, गुणवत्ता की विपरीत मिसाल और व्यापक अनुमानित तुलनाओं को अलग-अलग समझाता है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
21 अक्टूबर के Dharma-AI लेख में छोटे भाषा मॉडलों की शब्दावली को विशिष्ट कार्य के लिए ढालने वाला VocabX प्रस्तुत किया गया है। सबसे प्रत्यक्ष साक्ष्य पुर्तगाली निबंध मूल्यांकन के एक नियंत्रित प्रयोग से आता है। बताई गई 77.0% लागत कमी उसी व्यवस्था का परिणाम है; यह Qwen का नया मॉडल या होस्टेड API की घोषित छूट नहीं है।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- शब्दावली चयन सिस्टम, उपयोगकर्ता और उत्तर के टोकनों को उनकी सेवा लागत के अनुसार भार देता है; हर बचा टोकन समान मूल्य का नहीं होता।
- मूल्यांकन प्रयोग में थोड़ा लंबा उत्तर निर्णय को अलग रखता है और सबसे अधिक संकुचित मैक्रो निरूपण से बेहतर परिणाम देता है।
- एक कार्य में मापे गए रनटाइम से निकली लागत और पंद्रह क्षेत्र–मॉडल संयोजनों की अनुमानित लागत अलग प्रकार के प्रमाण हैं।
1. इस मूल्यांकन प्रणाली में लागत कहाँ बनती है?
Dharma-AI एक उत्पादन प्रणाली का वर्णन करता है जो पुर्तगाली निबंध, प्रश्न और सहायक पाठ लेकर JSON में अंक और टिप्पणियाँ लौटाती है। उसका Qwen3-4B आधार टोकनाइज़र कहीं अधिक भाषाओं और पाठ प्रकारों के लिए बना है। इसलिए दोहराई जाने वाली उत्तर संरचना कई डिकोडिंग चरण माँगती है और हर चरण ऐसी शब्दावली प्रविष्टियों को भी स्कोर करता है जिनकी इस संकीर्ण कार्य में शायद ही आवश्यकता हो। इससे दो अलग लक्ष्य निकलते हैं: उत्पन्न चरण घटाना और आउटपुट स्कोरिंग परत छोटी करना। इनमें से किसी का अर्थ पूरे मॉडल को रिपोर्ट किए लागत प्रतिशत जितना छोटा करना नहीं है।
लेख के अनुसार इनपुट प्रीफिल में कई टोकन एक ही वजन-पठन का लाभ लेते हैं, जबकि क्रमिक डिकोडिंग में मॉडल के वजन और बढ़ता KV कैश भी स्थानांतरित करना पड़ता है। इस मूल्यांकन मामले में आउटपुट टोकन की लागत इनपुट टोकन से 7.4 गुना बताई गई है; हार्डवेयर, बैच और संदर्भ लंबाई इस अनुपात को प्रभावित करते हैं। इस आकार के मॉडल में LM head लगभग 10% पैरामीटर है। शब्दावली 151,669 से 64,767 प्रविष्टियों, यानी लगभग 152,000 से 65,000 आउटपुट पंक्तियों तक जाती है। ये शब्दावली और आउटपुट परत की गिनतियाँ हैं, पूरे मॉडल के पैरामीटर में 77% कमी नहीं।
2. लागत-भारित शब्दावली चयन को कैसे बदलती है?
VocabX सिस्टम प्रॉम्प्ट, उपयोगकर्ता संदेश और मॉडल उत्तर की बचत को अलग-अलग लागत देता है। इसलिए उत्तर में दोहराई अभिव्यक्ति, इनपुट में उतनी ही बार आने वाली अभिव्यक्ति से अधिक मूल्यवान हो सकती है। दो परतें अलग दोहराव सँभालती हैं: उपशब्द परिवर्तन क्षेत्र-विशिष्ट शब्द-विभाजन बनाते हैं और मैक्रो टोकन बार-बार आने वाले बड़े अंश दर्शाते हैं। लागत मानदंड के अंतर्गत दोनों का अपना बजट है। स्रोत स्पष्ट कहता है कि LM head की गणना लागत इस चयन मानदंड में शामिल नहीं है; आधार उपशब्द शब्दावली बदलने और मैक्रो बजट लगाने से आकार अलग नियंत्रित होता है।
पाँच खोज विधियाँ लंबे शब्द, पूरी पंक्तियाँ, अभिव्यक्तियाँ, पूरे वाक्य और JSON जैसी विराम-चिह्न प्रधान संरचनाएँ ढूँढ़ती हैं। उनके उम्मीदवार एक-दूसरे को ढक सकते हैं: एक अंश चुने जाने के बाद दूसरे की शुरुआती पूरी बचत शेष नहीं रहती। AISubHub की व्याख्या में यह सीमित बजट वाला सीमांत लाभ का प्रश्न है, केवल लोकप्रिय वाक्यांशों की सूची नहीं। डिज़ाइन को देखना होगा कि दोहराव कहाँ है, पहले चयन क्या ढक चुके हैं और कितनी प्रविष्टियाँ रखी जा सकती हैं। केवल कम टोकन इन समझौतों का उत्तर नहीं देते।
3. नमूने में न दिखने का अर्थ शून्य मूल्य क्यों नहीं है?
स्रोत में एक अभिव्यक्ति 50,000 दस्तावेजों में 37 बार आती है, लेकिन 400 दस्तावेजों के नमूने में केवल लगभग 26% बार दिखती है। अनुबंध संग्रह में ऐसे नमूने में केवल 16.6% उम्मीदवार दिखाई देते हैं। हर अनुपस्थित उम्मीदवार को बेकार मानने से उपयोगी विशिष्टीकरण अवसर छूट सकते हैं। यह शब्दावली चयन की नमूना समस्या है, मॉडल विफलता की मापी दर या निबंध मूल्यांकन की सटीकता नहीं।
विधि उम्मीदवार की पूरे संग्रह में कुल बचत और अन्य टोकन चुने जाने के बाद बची अनावृत हिस्सेदारी अलग करती है। लेखकों के अनुसार पहली मात्रा ठीक-ठीक गिनी जा सकती है; केवल दूसरी, यानी ओवरलैप समायोजन, का अनुमान चाहिए। नमूने में न दिखे उम्मीदवारों को स्वतः शून्य देने के बजाय दिखे उम्मीदवारों के आँकड़े काम आते हैं। समान नमूने और बजट में अनुबंध टोकन कमी 44.7% से 52.8% होती है, यानी 8.1 प्रतिशत अंकों का लाभ। यह वर्णित प्रयोग में नमूना विधि का समर्थन है, बदले दस्तावेज वितरण में समान लाभ की गारंटी नहीं।
4. सबसे छोटा निरूपण सबसे अच्छी निर्णय प्रणाली नहीं था
मूल्यांकन तुलना में समान आधार मॉडल, डेटा, प्रशिक्षण विधि और सीड के साथ सात संस्करण प्रशिक्षित किए गए, केवल टोकनाइज़र बदला गया। सभी RTX 5090 और vLLM पर समान 500 अनुरोध चलाते हैं और लागत मापे गए रनटाइम से निकाली जाती है। लेखकों के अनुसार औसत आउटपुट 350 से 101 टोकन, लागत 77.0% कम और bench स्कोर 0.703 से 0.810 हुआ। यह स्कोर अंक देने की सटीकता और विषय से भटके या नियम तोड़ने वाले निबंधों की पहचान जोड़ता है। यह सार्वभौमिक भाषा मॉडल स्कोर या हमारे द्वारा सत्यापित ग्राहक बिल नहीं है।
एक विपरीत मिसाल महत्त्वपूर्ण है: किसी योग्यता का अंक और आसपास का JSON एक मैक्रो में मिलाने से सबसे संक्षिप्त निरूपण बना, लेकिन bench 0.689 रहा, जो 0.703 आधार से कम था। अंक अलग रखने पर प्रति उत्तर दो अतिरिक्त टोकन लगे, 0.810 लौटा और लागत कमी संयुक्त संस्करण के 73.3% से बढ़कर 77.0% हुई। संकुचित टोकन ने वास्तविक निर्णय और स्वरूप को एक चुनाव में बाँध दिया था। हमारा विश्लेषण उस निर्णय सीमा को बचाने और गुणवत्ता स्पष्ट जाँचने का है, अधिकतम संपीड़न को न्यूनतम रनटाइम या स्थिर निर्णय गुणवत्ता मान लेने का नहीं।
5. एक कार्य से आगे क्या लागू हो सकता है?
व्यापक तुलना में अनुबंध, चिकित्सा शोधपत्र, वैज्ञानिक शोधपत्र, समाचार और Python कोड के पाँच क्षेत्र तथा Qwen3, Llama-3.1 और Gemma-3 के तीन परिवार हैं। समान खोज/परीक्षण दस्तावेज और शब्दावली सीमाओं के साथ कुल पंद्रह संयोजन बनते हैं। सबसे मजबूत संदर्भ से संपीड़न लाभ 1.2–9.3 प्रतिशत अंक बताया गया है। औसत अनुमानित लागत लाभ Qwen3 के लिए 10.2, Llama-3.1 के लिए 7.5 और Gemma-3 के लिए 13.6 अंक है। ये मूल्यांकन कार्य की मापी गई 77.0% बचत के पंद्रह दोहराव नहीं हैं। अनुबंध में 113,426 प्रविष्टियों से टोकन कमी 62.6% है, जबकि सर्वोत्तम in-place BPE विन्यास में 207,803 प्रविष्टियों से 61.8% है।
संदर्भित विधियों में शब्दावली स्थानांतरण, बहु-शब्द टोकनीकरण और in-place BPE हैं, लेकिन हमने उनके शोधपत्र स्वतंत्र रूप से पढ़े या तुलना दोहराई नहीं है। पूरा VocabX शोधपत्र अभी आना है। इसे लागू करने के लिए संगत टोकनाइज़र, टोकन एम्बेडिंग, आउटपुट हेड और उचित प्रशिक्षण व गुणवत्ता जाँच चाहिए; यह क्लाइंट से होस्टेड API का टोकनाइज़र बदलने का निर्देश नहीं है। भाषा या स्वरूप बदलने से बचत और निर्णय व्यवहार बदल सकते हैं। शोध पूर्वावलोकन से उपलब्ध उत्पाद, लाइसेंस या सामान्य API छूट मानने के बजाय टीमों को अपने कार्यभार पर रनटाइम और गुणवत्ता फिर मापनी चाहिए।
यह क्यों अहम है
AISubHub विश्लेषण: प्रशिक्षण और सर्विंग सेटिंग के साथ टोकनाइज़र का डिज़ाइन भी विशिष्टीकरण प्रयोग का भाग होना चाहिए। उपयोगी स्वीकृति जाँच अपने कार्य की गुणवत्ता और रनटाइम दोनों की तुलना करती है; केवल कम टोकन सस्ते या अधिक भरोसेमंद परिनियोजन का प्रमाण नहीं हैं।
सीमाएँ और उपलब्धता
यह टीम द्वारा लिखा शोध पूर्वावलोकन है। शोधपत्र तैयार हो रहा है और रिपोर्ट किया संस्करण समीक्षा में है, इसलिए बदल सकता है। हमने न तो प्रयोग दोहराए हैं और न ही संदर्भित बाहरी शोधपत्र अलग से पढ़े हैं। परिणाम मूल्य, लाइसेंस या होस्टेड सेवा के साथ संगतता स्थापित नहीं करते।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।