विस्तृत विश्लेषण · लगभग 5 मिनट पढ़ना
llm-d 1.0 बड़े पैमाने के अनुमान संचालन की समस्याओं पर केंद्रित है
खुला अनुमान स्टैक किरायेदारों में निष्पक्षता, अपडेट नियंत्रण और सत्र-सचेत सेवा जोड़ता है; लागत और थ्रूपुट उदाहरण खास परिस्थितियों के हैं।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
IBM की आधिकारिक घोषणा के अनुसार योगदानकर्ताओं ने 20 अक्टूबर को llm-d 1.0 जारी किया। यह मॉडल चलाने की आधारभूत संरचना है, नया मॉडल नहीं। प्राथमिक तैनाती के बाद संसाधन बाँटना, वितरित हिस्से अपडेट करना और एजेंट के अलग चरणों में संदर्भ दोबारा उपयोग करना इसका जोर है। प्रदर्शन के उदाहरण इन क्षमताओं से अलग पढ़ने चाहिए।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- 1.0 में प्राथमिकता और निष्पक्षता वाला प्रवाह नियंत्रण, उच्च उपलब्धता राउटर, समन्वित प्रतिरूप अपडेट, v1 कॉन्फिगरेशन API और सत्र-सचेत सेवा शामिल हैं।
- प्रति टोकन पाँच से दस गुना कम लागत की तुलना एक खास एजेंट तैनाती की वर्तमान क्लाउड किराये पर व्यावसायिक API से है, हर कार्यभार की नहीं।
- क्वांटम हार्डवेयर शोध में खुले मॉडल और llm-d साथ बदले; करीब 0.11 डॉलर प्रति दस लाख टोकन मिश्रित सेवा खर्च सार्वजनिक API दर नहीं है।
सेवा का पड़ाव, नया मॉडल नहीं
परियोजना 2025 में Red Hat, IBM, Google Cloud, CoreWeave और NVIDIA ने शुरू की थी; घोषणा इसे अब Cloud Native Computing Foundation के संचालन में बताती है। 25 से अधिक संगठनों के 500 से अधिक योगदानकर्ता जुड़े हैं। यह विभिन्न हार्डवेयर पर वितरित अनुमान संयोजित करती है, सर्वश्रेष्ठ मॉडल चुनना या उसकी पहुँच देना अलग बात है। vLLM और SGLang जैसे सर्वर बताए गए हैं। साझा खुला आधार दोहराया इंजीनियरिंग काम घटा सकता है, पर अपने आप हार्डवेयर, प्रबंधित एंडपॉइंट या हर उदाहरण मॉडल की तैनाती का अधिकार नहीं देता।
नई चीजें और पुराना आधार अलग करें
कैश और लोड आधारित राउटिंग, KV ऑफलोडिंग, prefill/decode अलगाव, विशेषज्ञ समानांतरता और बैच या असमकालिक अनुमान मौजूदा आधार बताए गए हैं। 1.0 परिचालन ढाँचा जोड़ता है। प्राथमिकता और निष्पक्षता विलंब-संवेदनशील अनुरोध तथा अचानक बढ़ी माँग को साझा क्षमता देते हैं। राउटर हॉट-स्टैंडबाय और क्रमिक अपडेट निरंतरता में मदद करते हैं; prefill/decode प्रतिरूप एक तार्किक इकाई में समन्वित होते हैं। v1 API कॉन्फिगरेशन स्थिर करता है। सत्र राउटिंग संदर्भ कैश के पास रखती है, चरण-प्राथमिकता और Responses API स्थिति एजेंट सत्रों को मदद देते हैं। ये पूरक उपाय हैं, हर खराबी में शून्य बंदी की गारंटी वाला स्विच नहीं।
हर आँकड़ा अपने परीक्षण में रखें
IBM ने लगभग 753 अरब पैरामीटर GLM 5.2 को NVIDIA हार्डवेयर पर चलाने का प्रदर्शन बताया। एजेंट बेंचमार्क कार्यभार में चरम पर प्रति मिनट 6.6 मिलियन से अधिक आउटपुट टोकन, अधिकतम 3,000 समवर्ती कोडिंग एजेंट और उस तैनाती में शून्य प्रीएम्प्शन मिले। वर्तमान क्लाउड किराये पर अनुमानित प्रति टोकन लागत बराबर व्यावसायिक API से पाँच से दस गुना कम थी, सबसे बड़ा लाभ भारी इनपुट में। ये बताए परीक्षण हैं, नया GLM या सार्वभौमिक कीमत नहीं। शीर्षक का तीन गुना आउटपुट थ्रूपुट अलग प्रदर्शन से है। सभी लाभ एक कॉन्फिगरेशन में साथ होने का प्रमाण नहीं; AISubHub ने जुड़े अध्ययन पूरे पढ़े या दोहराए नहीं।
क्वांटम उदाहरण संयुक्त प्रणाली मापता है
दूसरे मामले में खुले मॉडल और llm-d से क्वांटम त्रुटि-सुधार हार्डवेयर खोजा गया। IBM ने पूरी तरह मालिकाना कॉन्फिगरेशन से 11.5 गुना कम अनुमान लागत, करीब 98% प्रीफिक्स कैश हिट और दस लाख टोकन पर लगभग 0.11 डॉलर मिश्रित सेवा खर्च बताया। मॉडल और सेवा आधार साथ बदलने से पूरा लाभ अकेले llm-d को नहीं दे सकते। यह ग्राहक के खरीदने योग्य प्रस्ताव भी नहीं है। संदर्भ-भारी एजेंट बार-बार प्रीफिक्स उपयोग करते हैं; अलग प्रॉम्प्ट मिश्रण, हिट दर, किराया और उपयोग आर्थिक नतीजे बदलते हैं। आकर्षक केस को बजट बनाने से पहले टीम अपनी माँग का हिसाब करे।
संचालन की परिपक्वता मुख्य खबर है
घोषणा में क्लाउड, मॉडल और उद्यम योगदानकर्ताओं के अलग उपयोग और एकीकरण के बयान हैं। कुछ वर्तमान उपयोग, कुछ एकीकरण कार्य या भविष्य के हार्डवेयर बताते हैं; सब मंचों पर एक साथ उपलब्धता सिद्ध नहीं होती। उपयोगी सीख किरायेदार अलगाव, शेड्यूलिंग, कैश और अपडेट को अलग थ्रूपुट परीक्षण के बजाय प्रणाली मानना है। हमारी राय में 1.0 जिम्मेदारियाँ स्पष्ट करता है, पर तैनाती, क्षमता, मॉडल लाइसेंस और संचालन सत्यापन अपनाने वाले को करना है। शून्य बंदी की सुविधा स्वतंत्र SLA प्रमाण नहीं, और थ्रूपुट उत्तर की गुणवत्ता नहीं मापता।
यह क्यों अहम है
एजेंट आधारभूत संरचना और खुले विकल्प देखने वालों के लिए यह उपयोगी रिलीज है। यह लागत को संदर्भ और संचालन से जोड़ती है, सस्ती सदस्यता से नहीं। AISubHub ने न स्टैक स्थापित किया, न प्रदर्शन चलाए और न ही विश्वसनीयता मापी है। अनुप्रयोग अपनी माँग और शर्तें जाँचें।
सीमाएँ और उपलब्धता
प्रमाण IBM की घोषणा और अलग प्रदर्शनों के उसके विवरण हैं। पूरा तरीका या हार्डवेयर बजट पाठ में नहीं है; जुड़े अध्ययन यहाँ स्वतंत्र रूप से नहीं जाँचे गए। बचत, चरम गति और कैश आँकड़े नामित उदाहरण हैं, सामान्य गारंटी या औपचारिक सदस्यता दरें नहीं।
स्रोत और प्रमाण
स्रोत की तारीख: 20 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।