विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
AWS ने एजेंट गुणवत्ता के लिए नौ चरण बताए, सिर्फ अपटाइम नहीं
आंतरिक बिक्री प्रणाली का मामला खास मूल्यांकन, रिलीज़ replay और लाइव निगरानी जोड़ता है।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
16 अक्टूबर का AWS लेख आंतरिक बिक्री-विश्लेषण एजेंटों के नौ-चरणीय चक्र को बताता है। मुख्य विफलता स्वस्थ सेवा का आत्मविश्वास से गलत व्यावसायिक उत्तर देना है। उपकरण, अलग एजेंट और पूरे संयोजन को रिलीज़ से पहले और बाद में परखा जाता है। यह AWS की संचालन विधि है, सेवा चालू करने से हर एजेंट सही और सुरक्षित होने का प्रमाण नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- प्री-प्रोडक्शन में जुड़े बदलावों का मेल बिगड़ने से पास दर 78% से 38% हुई बताई गई, जबकि ढांचे की निगरानी सामान्य थी।
- छोटे CI sentinel में 15 मामले; विस्तृत रिलीज़ जांच में 200 अलग रखे प्रश्न और स्थिर उपकरण उत्तर हैं।
- 30-मिनट खिड़कियां, 10% लाइव गुणवत्ता नमूना और 100% ट्रैफिक पर synchronous guardrails अलग नियंत्रण हैं।
व्यावसायिक सत्यता की अपनी त्रुटि सूची चाहिए
लेख में $410.08 को $410.08 मिलियन बनाना, राजस्व की परिभाषाएं बदलना और आवर्ती राजस्व गढ़ना शामिल है। तेज सफल अनुरोध इन्हें नहीं पहचानता। AWS सुरक्षा, गुणवत्ता, प्रदर्शन, लागत और संचालन नियंत्रण को उपकरण, एजेंट और संयोजन पर जांचती है। गलत मेट्रिक, अवधि, ग्राहक, निराधार संख्या, चिन्ह और अनधिकृत गणना अलग हैं। हमारी व्याख्या में दायरा भी सत्यता है: मूल कंपनी का सही राजस्व सहायक कंपनी के प्रश्न का गलत उत्तर हो सकता है। सामान्य उपयोगिता स्कोर संदर्भ डेटा, अधिकार और गणना नियम नहीं बदलता।
संस्करण तुलना से पहले मूल्यांकन तय करें
पहले लक्ष्य, सीमाएं और संस्करण वाला golden set तय होता है, फिर prompts, मॉडल और उपकरण तुलना होती है। अंतर्निहित, विशेष, बाहरी evaluator तथा ज्ञात उत्तरों की deterministic जांच मिलती हैं। LLM judge प्रासंगिकता जैसी बातें देखता है, तथ्य का अकेला निर्णायक नहीं। उत्पादन, पुराने दोष और बनाए edge cases तीनों स्तर ढकते हैं। गुणवत्ता, विलंब और लागत साथ देखें। बेहतर औसत खराब उपसमूह या महंगा मार्ग छिपा सकता है; स्वीकार्य समझौते अनुबंध में तय हों, मॉडल खुद न चुने।
तेज CI जांच पूरी रिलीज़ अनुमति नहीं
15 जोखिम वाले sentinel मामले हर staging deployment पर चलने लायक छोटे हैं और कई आयाम देखते हैं। पास होना जरूरी पर पर्याप्त नहीं। व्यापक gate 200 अलग रखे प्रश्नों पर regression, production आधार से बेहतर न होना या बहुत सारे कमजोर व्यक्तिगत उत्तर रोकता है। उपकरण ज्ञात इनपुट से पहले जांचे जाते, फिर सही उत्तर freeze करके replay होते हैं। इससे तर्क को लाइव उपकरण बदलाव से अलग रखते हैं; असली निर्भरता प्रमाणित नहीं होती। अलग-अलग सही संख्याएं भी गलत scope में जुड़ सकती हैं, इसलिए संयोजन को component tests से ज्यादा चाहिए।
लाइव कवरेज के अलग अर्थ हैं
लेख 30-मिनट batch, शोर घटाने के लिए लगातार windows और रोज पूरा golden set बताता है। तीन सीमा-उल्लंघन वाली windows पर on-call बुल सकता है; एक window पहले संचालन संकेत है। अलग से वास्तविक ट्रैफिक का 10% गुणवत्ता हेतु देखा जाता है ताकि नए प्रश्न मिलें। इस प्रणाली में synchronous input-output guardrails 100% ट्रैफिक ढकते हैं। नमूना हर तथ्य की जांच नहीं और सामग्री फिल्टर सही उत्तर का प्रमाण नहीं। schema या retrieval index बिना deployment भी बदलता है, इसलिए अकेला release gate पर्याप्त नहीं।
सुधार में प्रमाण और नियंत्रण जरूरी
Execution traces और evaluator scores की pipelines अलग हैं। trace के लिए CloudWatch Transaction Search setup, सुरक्षित रिकॉर्ड और भूमिका-आधारित दृश्य चाहिए। कम स्कोर वाली traces स्थायी regression या prompt और tool-description सुझाव बनती हैं। कई चित्र illustrative हैं; इन्हें स्वतंत्र प्रदर्शन माप नहीं बनाते। हमारी सलाह डेटा, उत्तर, prompt और evaluator versions साथ रखने, promotion से पहले समीक्षा और evaluation लागत रखने की है। एक judge के लिए अनुकूल सुझाव को दूसरे आयामों पर भी जांचें। public preview केवल dataset evaluation का उल्लिखित दर्जा है, पूरे AgentCore का नहीं।
यह क्यों अहम है
उपलब्धता और उत्तर की वैधता अलग हैं। त्रुटि को उपकरण, डेटा scope या synthesis से जोड़ने पर रिलीज़ और निदान ठोस होते हैं। गुणवत्ता चक्र बाहरी authorization नियंत्रण का पूरक है, उसका विकल्प नहीं।
सीमाएँ और उपलब्धता
पूरा आधिकारिक लेख पढ़ा; एजेंट तैनात, आंतरिक बिक्री डेटा देखा या परिणाम दोहराए नहीं। सीमाएं और उदाहरण AWS के हैं; illustrative चित्र स्वतंत्र माप नहीं। जांच, storage और निगरानी संसाधन लेते हैं; मुफ्त योजना या सभी त्रुटियों का अंत स्थापित नहीं।
स्रोत और प्रमाण
स्रोत की तारीख: 16 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।