विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
FlashMap और Qwen3: अधिक टोकन स्वीकार होना ही तेज डिकोडिंग नहीं है
17 अक्टूबर का प्रीप्रिंट flow-map drafter को समान डेटा पर पुनः प्रशिक्षित baselines से तुलना करता है, निश्चित परिस्थितियों में।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
FlashMap निरंतर flow से distill किए map द्वारा पूरा token block बनाता है। पहला arXiv submission 17 अक्टूबर का है; Qwen3-8B परिणाम सभी मॉडल या सेवाओं का सार्वभौमिक लाभ नहीं हैं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- लेखक retrained DFlash से औसतन 7.4% तेज और सामान्य target decoding से अधिकतम 6.14× speedup बताते हैं।
- मुख्य timing में एक H200 NVL, concurrency 1, thinking बंद और अधिकतम 2048 नए tokens हैं; batched serving नहीं परखा गया।
पुष्ट token की समय लागत
Speculative decoding में छोटा मॉडल भविष्य tokens सुझाता है और target उन्हें साथ जाँचता है। rejection के बाद suffix हटता है, इसलिए प्रस्तावित लंबाई से अधिक बची लंबाई मायने रखती है। latency drafting और verification समय के योग को accepted length से भाग देती है; इसमें target का दिया एक token भी शामिल है।
Sequential drafter सटीक होकर भी महँगा हो सकता है; parallel drafter कम acceptance के साथ तेज हो सकता है। rejection प्रक्रिया target distribution बचाती है। यहाँ lossless का अर्थ यही गणितीय गुण है, अधिक सत्य, सुरक्षित या बुद्धिमान उत्तर का वादा नहीं।
पूरे block की संगति
DFlash एक pass में हर position स्वतंत्र चुनता है, इसलिए अलग-अलग उचित tokens साथ असंगत हो सकते हैं। FlashMap Gaussian noise को target hidden features की सहायता से token representation तक ले जाता और flow को एक या थोड़े map evaluations में distill करता है।
पहले flow teacher फिर student map बनता है। Self-attention positions जोड़ता, cross-attention target पढ़ता है; embeddings और output head frozen हैं। Qwen3-8B पर trainable parameters FlashMap के 500M और DFlash के 1049M हैं। अलग drafting cost भी परिणाम का हिस्सा है; यह target को बदलने वाला foundation model नहीं।
नियंत्रित तुलना की सीमा
DFlash और EAGLE-3 उसी Open-PerfectBlend 500K samples पर retrain होते हैं। block और verification budget 16 tokens हैं। नौ अंग्रेजी math, code और chat tasks temperatures 0 तथा 1 पर SGLang, एक H200 NVL, concurrency 1, thinking बंद और 2048 output सीमा के साथ जाँचे गए।
Qwen3-8B के अठारह संयोजनों में one-step FlashMap गति में DFlash से आगे है, औसतन 7.4%। 6.14× peak temperature 0 GSM8K में सामान्य target decoding के मुकाबले है, DFlash के मुकाबले नहीं। उसी temperature पर Arena-Hard 3.04× है। कार्य और denominator दोनों बताने जरूरी हैं।
परिशिष्ट का प्रतिउदाहरण
Qwen3-4B में हर जगह जीत नहीं: temperature 0 GSM8K पर target-relative FlashMap 5.14× और DFlash 5.18× हैं। दो steps acceptance बढ़ाते पर अतिरिक्त गणना से गति घटा सकते हैं। Qwen3-8B के अठारह मामलों में DFlash से बेहतर acceptance भी हर जगह सबसे तेज होने का प्रमाण नहीं।
Shuffle test हर position के marginal व्यवहार को रखता और shared-noise संबंध तोड़ता है। acceptance का गिरना joint structure दर्शाता है; दो steps एक से ज्यादा teacher structure वापस लाते हैं। लेखक distillation gap मानते हैं। यह निदान token dependence पूरी सुलझने के दावे से ज्यादा उपयोगी है।
ऑपरेटर को आगे क्या जाँचना है
हर configuration का एक run है। Wilson intervals conditional acceptance curves के हैं, speedup confidence intervals नहीं। एक family के दो आकार और अंग्रेजी tasks उच्च concurrency throughput सिद्ध नहीं करते। Tree verification परिशिष्ट H100 पर है, मुख्य H200 तुलना से अलग रखना होगा।
हमारा सुझाया क्रम model, hardware, output limits और verification budget मिलाना, फिर अपना traffic जोड़कर latency या throughput तथा training/serving cost मापना है। यह मापी गई व्यावसायिक बचत नहीं। शोध Qwen subscription अधिकार, API rates या target की बुनियादी क्षमता में बदलाव नहीं घोषित करता।
यह क्यों अहम है
AISubHub विश्लेषण: acceptance के साथ drafting और verification समय मापें। यह inference पद्धति का अध्ययन है, मॉडल की सामान्य बुद्धि की ranking नहीं।
सीमाएँ और उपलब्धता
हमने पूरी v1, सभी परिशिष्ट और तालिकाएँ पढ़कर मूल submission देखा। आँकड़े लेखकों के हैं, प्रत्येक configuration का एक run; हमने reproduce नहीं किया। अन्य families, बड़े targets और production batching खुले हैं।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
पूरक पठन
स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।