विस्तृत विश्लेषण · लगभग 5 मिनट पढ़ना
निर्णय मॉडल से AI जाँच: 0.50 की डिफॉल्ट सीमा क्यों विफलताएँ छिपा सकती है
Husain और Saha का प्रयोग सीमा चयन, सत्यापन, API लागत और संभावना कैलिब्रेशन अलग रखता है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Hamel Husain और Antaripa Saha के 20 अक्टूबर के मूल प्रयोग में स्कोर को उपयोगी गुणवत्ता जाँच में बदलने का तरीका है। सबक कोई सार्वभौम विजेता नहीं: विफलता परिभाषित करें, स्वीकार्य प्रिसीजन–रिकॉल तय करें, अलग रखे लेबल इस्तेमाल किए बिना सीमा चुनें और संभावना को अलग जाँचें।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- किराया एजेंट के 100 रिकॉर्ड में से दो आंतरिक QA उदाहरण प्रदर्शन से हटे: 98 रिकॉर्ड, जिनमें 61 चिह्नित विफलताएँ और 37 बिना चिह्नित विफलता हैं।
- समायोजित F1 Perplexity के लिए 0.79 और 100 मूल्यांकन पर 0.82 अमेरिकी सेंट; OpenAI Decisions के लिए 0.87 और 3.72 सेंट है। लागत 100 कॉल, प्रदर्शन 98 रिकॉर्ड का है।
स्कोर से पहले विफलता की परिभाषा
प्रयोग पूरे किराया-सहायक रिकॉर्ड में महत्वपूर्ण त्रुटि ढूँढता है, जैसे असफल बुकिंग या इंसान को सौंपना भूलना। Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 और d1-ultra, Cloudflare Clef Flash तथा GPT-6 Luna वाले OpenAI Decisions जाँचे गए। सबको समान मापदंड, Jev को बराबर संरचित रूप मिला। 61 ज्ञात विफलताओं में 39 शुरुआती मानव समीक्षा और 22 Braintrust तथा Arize द्वारा मिली, फिर मानव द्वारा सत्यापित थीं। बाकी 37 में चिह्नित विफलता नहीं है; इससे हर संभावित समस्या ज्ञात होना सिद्ध नहीं होता।
सीमा एक कार्रवाई नियम है
मॉडल शून्य से एक स्कोर देता है और सीमा उसे अलार्म बनाती है। विफलताओं का स्कोर 0.40 तथा सफल का 0.10 हो तो 0.30 अलग कर देता है, लेकिन डिफॉल्ट 0.50 कोई विफलता नहीं पकड़ेगा। सीमा घटाने से आमतौर पर पकड़ और झूठे अलार्म दोनों बढ़ते हैं। प्रिसीजन अलार्म में ज्ञात विफलताओं का हिस्सा है; रिकॉल ज्ञात विफलताओं में पकड़े गए हिस्से को मापता है। F1 दोनों का सममित हार्मोनिक माध्य है। हमारा विश्लेषण है कि मानव हस्तांतरण और विनाशकारी कार्रवाई रोकने में गलती की लागत अलग हो सकती है; F1 चुनना भी व्यावसायिक निर्णय है, तटस्थ डिफॉल्ट नहीं।
सत्यापन से असंभव विभाजन नहीं मिटते
स्तरीकृत पाँच-फोल्ड क्रॉस-वैलिडेशन प्रशिक्षण उदाहरणों पर सीमा चुनता और बाकी पर मापता है, सभी मॉडल के समान विभाजन होते हैं। उम्मीदवारों के लिए प्रशिक्षण में कम से कम 80% प्रिसीजन और 80% रिकॉल के साथ सर्वोत्तम F1 चुना जाता है। महत्वपूर्ण फुटनोट कहता है कि कोई सीमा योग्य न हो तो वास्तविक प्रयोग बिना बाधा वाले F1 सर्वोत्तम पर लौटता और उसकी वैलिडेशन भविष्यवाणियाँ औसत में रखता है। Perplexity में 100 प्रशिक्षण विभाजनों में 36, d1-ultra में 29, OpenAI में शून्य ऐसे थे। औसत 80% की गारंटी नहीं। लेख का परिचालन प्रॉम्प्ट शर्त ढीली करने की जगह असंभवता बताने को कहता है; उसे प्रकाशित उदाहरण की गणना न समझें।
लागत और प्रदर्शन के हर अलग हैं
बचे उम्मीदवारों में Perplexity F1 0.79 पर 100 जाँच के 0.82 अमेरिकी सेंट और OpenAI Decisions 0.87 पर 3.72 सेंट, लगभग 4.5 गुना महँगा है। लागत सभी 100 API कॉल की है, प्रदर्शन दो QA रिकॉर्ड हटाता है। सहेजे गए token उपयोग और प्रदाता दरें इस्तेमाल हुईं, Liquid की लागत 17 अक्टूबर की दर से फिर गिनी गई; भविष्य का बिल निश्चित नहीं। सीमा समायोजन पुराने स्कोर दोबारा उपयोग करता, नई कॉल नहीं। मुख्य तुलना देरी को अलग रखती है; अलग रन के औसत सापेक्ष throughput या tail latency सिद्ध नहीं करते। उत्पादन में batching, concurrency और नेटवर्क खुद मापें।
संभावना को अलग जाँच चाहिए
0.80 तभी उपयोगी संभावना है जब मिलते स्कोर वाले लगभग 80% मामलों में वास्तविक विफलता हो। कैलिब्रेशन इसे जाँचता है, बाइनरी सीमा चुनने से अलग। छोटे नमूने को 19 या 20 रिकॉर्ड के पाँच समूहों में बाँटकर प्रशिक्षण फोल्ड पर Platt scaling फिट किया गया। Clef Flash के एक समूह ने लगभग 8% जोखिम बताया, लेकिन 60% विफल थे। कुछ मॉडल सुधरे, सभी नहीं: दिखाए log-odds फिट से OpenAI का Brier 0.159 से 0.164 हुआ; कम बेहतर है। दूसरे खोजपरक फिट में 0.154 मिला। यह फिट-विधि संवेदनशीलता है, हर मॉडल के सुधार या भविष्य के एक मामले के सटीक जोखिम की गारंटी नहीं।
संकीर्ण, संस्करणबद्ध जाँच अपनाएं
लेखक व्यापक जाँच स्थायी रखने के बजाय हर विफलता प्रकार के अलग जज सुझाते हैं। हमारा सुझाव मापदंड और मानव लेबल संस्करणबद्ध करना, अंतिम परीक्षण अछूता रखना, व्यावसायिक न्यूनतम तय करना और अयोग्य सीमा वाले विभाजन बताना है। प्रॉम्प्ट बदलने पर सीमा और कैलिब्रेशन फिर जाँचने पड़ सकते हैं। सस्ता मॉडल उसी काम पर मजबूत आधार से तुलना माँगता है, किराया नमूने की रैंक उधार नहीं। यह ठोस मूल प्रयोग है, छह APIs की एक साथ नई उपलब्धता, स्वतंत्र सत्यापित मूल्य सूची या सामान्य मॉडल रैंकिंग नहीं।
यह क्यों अहम है
हमारा विश्लेषण: सस्ता वर्गीकारक तभी उपयोगी है जब उसकी गलतियों का परिचालन परिणाम स्वीकार्य हो। मूल्यांकन विधि और असंभव सीमा-विभाजनों का खुलासा उपयोगी है, स्थायी प्रदाता श्रेष्ठता नहीं।
सीमाएँ और उपलब्धता
हमने पूरा मूल लेख और फुटनोट पढ़े, निजी संवाद या स्वतंत्र पुनरुत्पादन नहीं। नमूना छोटा और कार्य-विशिष्ट है; देरी नियंत्रित तुलना नहीं और समायोजन भविष्य के परिणाम की गारंटी नहीं देता।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।