विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
vLLM की दो KV रणनीतियाँ अलग विलंब घटाती हैं
AWS की push और द्विदिश पुनः उपयोग विधियों के परीक्षण अलग हैं; लाभ जोड़ना उचित नहीं।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
19 अक्टूबर की दो AWS गाइड अलग vLLM prefill/decode में KV गति देखती हैं। हम विकल्प साथ समझाते हैं, दो संचयी गति लाभ या परीक्षित मॉडलों का नया संस्करण नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- Push ने एक-एक P5en/EFA नोड पर Qwen3-32B के लिए TTFT में अधिकतम तीन गुना और TPOT में 30% सुधार बताया।
- द्विदिश विधि अलग cache शर्तों पर Qwen3-32B और GLM-5-FP8 के लिए अधिकतम 1.6 और 3.3 गुना TTFT सुधार बताती है।
एक वास्तु, अलग परीक्षण
Prefill prompt से KV बनाता है; decode उससे tokens उत्पन्न करता है। अलग engine स्वतंत्र scale होते हैं, पर state transfer बढ़ता है। NIXL और EFA समर्थित हार्डवेयर पर host को बीच में लाए बिना device memory भेजते हैं। लेखक बताते हैं कि विकास Trainium पर हुआ और सुविधा accelerator-independent योगदान बनी, लेकिन प्रकाशित माप P5en GPU पर हैं। हर instance में direct memory समर्थन मानना गलत है। दोनों सुधार अलग इंतज़ार देखते हैं: उसी अनुरोध का hand-off और अगले turn में पुराना context दोबारा गणना।
Push समन्वय पहले करता है
Pull prefill पूरा होने के बाद router से block स्थान भेजकर decode read तैयार करता है। Push गणना चलने पर destination reserve और register करता है। Producer registration और completed computation दोनों को किसी भी क्रम में मिलने देता है; background thread descriptors बनाकर NIXL WRITE भेजती है। Decode सभी अपेक्षित completion सूचनाओं के बाद KV इस्तेमाल करता है। इससे मुख्य loop हल्का होता है। दोनों तरफ NixlPushConnector चाहिए, लेकिन decode जल्दी चुनना पड़ता है। Pull prefill के बाद load देखकर node चुन सकता है।
अगले turn के लिए state बनाए रखना
द्विदिश डिजाइन prompt और generated response का decode KV रखता है, जिसे अगला prefill वापस लेता है। Stateful router conversation_id के हिसाब से block locations रखता है, tensors नहीं। default retention 480 सेकंड स्थिर है और renew नहीं होती; expiry के बाद सामान्य prefill होता है। पुनः उपयोग threshold 64 tokens है: कम पर recompute और बराबर या अधिक पर transfer हो सकता है। AWS vLLM 0.21.0 या बाद, NixlConnector, दोनों server पर bidirectional_kv_xfer और उपयुक्त router बताता है। केवल एक setting पूर्ण deployment नहीं है।
दो baseline अलग रखें
Push में Qwen3-32B, एक prefill और एक decode, P5en/EFA, 128 output tokens तथा decode prefix cache बंद था। आठ requests/second और 16k input पर TTFT करीब 1,744 बनाम 540ms था; भारी load पर TPOT 10.4 बनाम 7ms। कम load के छोटे prompts समान थे। द्विदिश परीक्षण ने इसके बजाय prefill cache बंद कर स्थानीय history loss दिखाया। Qwen 24k पर 778 बनाम 460ms और GLM 20k पर 2,334 बनाम 702ms था। अधिकतम 1.6 व 3.3 उसी परीक्षण के हैं, सभी deployments की ranking नहीं।
विश्लेषण: नीति चुनें, फिर सेवा जाँचें
Push गाइड द्विदिश transfer या देर से decode चुनने के लिए pull रखती है। इसलिए गुणक न गुणा करें। वास्तविक turn gap, prompt overlap और load से TTFT, प्रति-token latency, throughput, memory व expiry मापें। cache केवल बताई reproduction के लिए बंद करें, सामान्य production सलाह न मानें। retries, पुराने metadata और conversation isolation भी जाँचें। ये हमारे सुझाव हैं; हमने deployment या bill नहीं मापा। उद्देश्य coordination, reuse और routing का स्पष्ट शर्तों वाला चुनाव है, हर ऐप की गति का दावा नहीं।
यह क्यों अहम है
टीम अनुरोध समन्वय या अगले turn की पुनर्गणना में बाधा पहचाने और memory, network व routing देखे।
सीमाएँ और उपलब्धता
ये AWS परीक्षण हैं, हमारे नहीं। गुणक आपस में गुणा नहीं होते और सदस्यता quota या तय कीमत नहीं देते।
स्रोत और प्रमाण
स्रोत की तारीख: 19 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
स्रोत की तारीख: 19 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।