विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
Perplexity की एजेंट मूल्यांकन मार्गदर्शिका: स्कोर के पीछे ट्रेस और अंशांकित निर्णायक
आधिकारिक छह चरणों की मार्गदर्शिका वास्तविक विफलताओं, स्थिर परीक्षण डेटा और विशेषज्ञों से मिलान किए गए निर्णायकों को जोड़ती है। एक सही उत्तर विश्वसनीयता का प्रमाण नहीं है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Perplexity की 22 अक्टूबर की मार्गदर्शिका एजेंट मूल्यांकन की प्रक्रिया समझाती है; यह किसी नए मॉडल या नए बेंचमार्क परिणाम की घोषणा नहीं है। पुर्जे खरीदने वाले एजेंट का उदाहरण बताता है कि स्कोर समझने से पहले कार्रवाइयों, दोहराव और निर्णायक की गुणवत्ता का प्रमाण चाहिए।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- विश्वसनीय दिखने वाला अंतिम उत्तर अनधिकृत कार्रवाई या लीक हुए उत्तर का उपयोग छिपा सकता है; परिणाम और उस तक पहुंचने का रास्ता दोनों जांचें।
- लगभग 100 ट्रेस त्रुटि विश्लेषण का संदर्भ हैं, अनिवार्य सीमा नहीं। pass@k का अर्थ बताए गए k प्रयासों में कम से कम एक सफलता है।
- उसी सहेजे गए रन को दोबारा अंक देने से निर्णायक की अस्थिरता अलग दिखती है; रिग्रेशन, निगरानी और A/B के काम अलग हैं।
सही उत्तर क्या छिपा सकता है?
इन्वेंटरी सहायक उपयुक्त दिखने वाला पुर्जा सुझाकर अनुमोदन का नियम छोड़ सकता है। Perplexity के कारखाने वाले उदाहरण में स्वीकृत पुर्जा उपलब्ध न हो या आपूर्तिकर्ता की जानकारी पुरानी हो, तो उचित प्रतिक्रिया जरूरी है, बिना आधार का विकल्प नहीं। मार्गदर्शिका सफल काम और उसे पूरा करने के अस्वीकार्य तरीकों को साथ परिभाषित करने को कहती है। क्षेत्र विशेषज्ञ जांचें कि शर्तें वास्तविक काम से मेल खाती हैं। धाराप्रवाह उत्तर अनुमतियों के पालन का प्रमाण नहीं है।
इसलिए प्राप्त जानकारी, टूल कॉल और बीच के निर्णय भी मूल्यांकन में आते हैं। कार्य की सफलता, कार्रवाई की शुद्धता और उत्तर की गुणवत्ता अलग गुण हैं; विश्वसनीयता में बार-बार प्रयास और सीमांत इनपुट शामिल हैं। सफल कार्य की लागत में समय, token और टूल कॉल भी आते हैं। हमारा विश्लेषण: रिलीज का निर्णय पूरे कार्यप्रवाह की स्वीकृति शर्तों पर होना चाहिए, केवल अच्छे लिखे उत्तर की पसंद पर नहीं।
कौन सी विफलताएं परीक्षण में आएं?
मार्गदर्शिका वास्तविक निष्पादन ट्रेस से शुरू करती है: इनपुट, प्राप्त साक्ष्य, कार्रवाइयां और आउटपुट। विशेषज्ञ प्रत्येक रन की पहली महत्वपूर्ण त्रुटि लिखता है, फिर समान टिप्पणियों को विफलता प्रकारों में जोड़ता है। LLM श्रेणियां सुझा सकता है, लेकिन प्राथमिकता में आवृत्ति और गंभीरता दोनों जरूरी हैं। महत्वपूर्ण विफलताएं इनपुट, शुरुआती स्थिति, अपेक्षित परिणाम और अंक देने की शर्तों सहित पुनः उपयोग योग्य केस बनती हैं। इससे सुधारने वाली समस्या को सुविधाजनक कृत्रिम सवाल से बदला नहीं जाता।
लगभग 100 ट्रेस व्यावहारिक संदर्भ हैं, सार्वभौमिक नमूना आवश्यकता या सांख्यिकीय विश्वास की गारंटी नहीं। जब आगे के ट्रेस कोई सार्थक नया विफलता पैटर्न न दिखाएं, तो सैद्धांतिक संतृप्ति पर पहले रुक सकते हैं। लॉन्च से पहले कृत्रिम उदाहरण मदद करते हैं; उपलब्ध होने पर वास्तविक उपयोग डेटा जोड़ना चाहिए। मानक बेंचमार्क पूरक हैं, लेकिन अप्रत्याशित सफलता या विफलता पर सवाल और अपेक्षित उत्तर की जांच करें।
दो संस्करणों को समान समस्या कैसे दें?
चित्र सहेजे गए रखरखाव अनुरोध को स्थिर इन्वेंटरी और स्वीकृत पुर्जों के डेटा से अलग रखता है। maintenance_request_01.json में इनपुट और अपेक्षित परिणाम हैं; inventory_snapshot.json तथा approved_parts.json तुलना का डेटा देते हैं। run_evals.py कार्यप्रवाह चलाकर जांचता है, जबकि results आउटपुट, ट्रेस और पास या फेल निर्णय रखता है। यह केवल परीक्षण संरचना का उदाहरण है, हमारे द्वारा चलाया गया उत्पादन सिस्टम या सॉफ्टवेयर पैकेज नहीं। हमारा विश्लेषण: तुलना के बीच इन्वेंटरी बदली तो एजेंट के साथ समस्या भी बदल जाएगी।
अंतिम पाठ के अलावा जानकारी प्राप्त करने के चरण और टूल कार्रवाइयां भी रखें। समान इनपुट से अलग परिणाम आ सकते हैं, इसलिए जोखिम, आवृत्ति और सुधार की कठिनाई के अनुसार पुनरावृत्ति करें। pass@1 एक प्रयास की सफलता दर्शाता है; pass@k निर्दिष्ट k प्रयासों में कम से कम एक सफलता। k स्पष्ट लिखना जरूरी है। कई उत्तरों में एक सही मिलना हर बार सफलता या एजेंट द्वारा सही प्रयास चुन सकने का प्रमाण नहीं है।
हर शर्त का निर्णय कौन करे?
सटीक रूप से जांची जा सकने वाली शर्तों के लिए मार्गदर्शिका कोड-आधारित जांच सुझाती है: पुर्जा स्वीकृत है या नहीं, फ़ील्ड वैध है या नहीं, टूल आर्ग्युमेंट सही हैं या डेटाबेस की अंतिम स्थिति अपेक्षा से मेल खाती है। नियम स्पष्ट होते हैं, लेकिन हर व्यक्तिपरक निर्णय विश्वसनीय रूप से नहीं कर सकते। विकल्प न सुझाने का कारण पर्याप्त है या नहीं, जैसे संदर्भ-निर्भर प्रश्न स्पष्ट मूल्यांकन रूब्रिक वाले LLM को दिए जा सकते हैं। रूब्रिक स्वीकार्य व्यवहार और निर्णय के साक्ष्य बताए।
विशेषज्ञता वाले या विवादित मामलों में मानव विशेषज्ञ जरूरी रहते हैं। एक ही रन की अलग जांचों में अलग निर्णायक मिलाए जा सकते हैं; मूल्यांकन प्लेटफॉर्म यह नहीं तय करता कि कारोबार के लिए कौन सी विफलताएं महत्वपूर्ण हैं। हमारा विश्लेषण: अनुमति जांच और स्पष्टीकरण की गुणवत्ता अलग रखने से संयुक्त स्कोर समझ आता है। LLM की भाषा संबंधी प्रशंसा स्वीकृत सूची की सटीक जांच की जगह नहीं ले सकती। स्रोत इस विभाजन से सटीकता में कोई मापी वृद्धि नहीं देता।
एजेंट और निर्णायक की त्रुटि कैसे अलग करें?
पांच चरणों का अंशांकन इनपुट, आउटपुट और ट्रेस जुटाता है; विशेषज्ञ से स्वतंत्र निर्णय लेता है; LLM निर्णायक चलाता है; दोनों निर्णयों की तुलना करता है; और मतभेद जांचकर रूब्रिक सुधारने के बाद नए उदाहरणों पर जांचता है। यहां मानव निर्णय संदर्भ है, मानव को अचूक बताने का दावा नहीं। अंशांकन मूल्यांकनकर्ता का मूल्यांकन है, परीक्षणाधीन एजेंट को फिर चलाना नहीं।
निर्णायक की निरंतरता जांचने के लिए एजेंट दोबारा चलाए बिना ठीक उसी सहेजे गए रन और फ़ाइलों को कई बार अंक दें। अन्यथा एजेंट और निर्णायक की परिवर्तनशीलता मिल जाती है। भ्रम मैट्रिक्स पहचानी गई त्रुटियां, छूटी त्रुटियां और सही आउटपुट को गलत ढंग से दोषपूर्ण बताने के मामले दिखाता है। मानव समीक्षा वे नए विफलता प्रकार भी खोजती है जिन्हें वर्तमान निर्णायक नहीं पहचानते। स्रोत से जुड़े बेंचमार्क अध्ययनों को हमने स्वतंत्र रूप से पूरा नहीं पढ़ा और परिणाम दोहराए नहीं।
सुधार कब रिलीज का आधार बनता है?
सहेजे इनपुट से मूल विफलता दोहराएं, प्रॉम्प्ट, मॉडल या कार्यप्रवाह में लक्षित बदलाव करें और उस केस का सुधार जांचें। फिर शेष पूरी परीक्षण शृंखला चलाएं कि पहले सफल व्यवहार तो नहीं टूटा। पुराने और नए संस्करण में समान केस और मूल्यांकन मानदंड होने चाहिए। असर्शन, टेस्ट फ्रेमवर्क और CI/CD जांच तथा रिलीज सीमाएं स्वचालित कर सकते हैं, लेकिन यह साबित नहीं करते कि चुनी शर्तें वास्तविक उत्पाद जोखिम को समेटती हैं।
तैनाती के बाद अंशांकित निर्णायक उत्पादन ट्रेस के नमूने जांच सकते हैं, पुराने विफलता प्रकारों को ट्रैक कर सकते हैं और मानव असामान्य अनुरोध या नई त्रुटियां खोज सकते हैं। उपयुक्त A/B समाधान दर और संतुष्टि जैसे कारोबारी साक्ष्य जोड़ता है, लेकिन मूल्यांकन की जगह या हर मूल कारण का उत्तर नहीं बनता। हमारा विश्लेषण: उपयोगी चक्र देखी विफलता, दोहराने योग्य जांच और रिग्रेशन निर्णय को जोड़ता है। यह विधि-मार्गदर्शिका नई उपलब्धता या स्वतंत्र रूप से मापी विश्वसनीयता सिद्ध नहीं करती।
यह क्यों अहम है
टीमें विफलता, उसके साक्ष्य और निर्णायक को सहेजकर एजेंट सुधार को जांचने योग्य बना सकती हैं। पूरे कार्यप्रवाह से तुलना और वास्तविक उपयोग से आगे सुधार इसके उपयोगी परिणाम हैं।
सीमाएँ और उपलब्धता
यह Perplexity की पद्धति और खरीद का उदाहरण है। हमने पूरा लेख और परीक्षण संरचना का चित्र पढ़ा, बाहरी अध्ययन, उत्पादन एजेंट या खाते के अधिकार नहीं जांचे; सटीकता, बचत या सार्वभौमिक पास सीमा स्वतंत्र रूप से नहीं मापी।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।