विस्तृत विश्लेषण · लगभग 5 मिनट पढ़ना
Anthropic का आत्म-मूल्यांकन सस्ती निगरानी परत है, स्वतंत्र सुरक्षा नहीं
शोध शिक्षक वर्गीकारक से तुलना, बाद की दुरुपयोग जाँच और हमले रोकने की क्षमता के बीच अंतर स्पष्ट करता है।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
Anthropic के 16 अक्टूबर के शोध में Claude उत्तर देने के बाद पूरी बातचीत की सुरक्षा का संक्षिप्त मूल्यांकन करता है। कंपनी व्यापक उत्पादन उपयोग और कम अतिरिक्त गणना बताती है, लेकिन उसके अपने प्रयोग दिखाते हैं कि मॉडल का यह निर्णय स्वतंत्र सुरक्षा उपायों या मानवीय जाँच की जगह नहीं ले सकता।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- 1% गलत-सकारात्मक दर पर Fable 5 ने मजबूत शिक्षक द्वारा चिह्नित बातचीत में 78% और उच्च प्राथमिकता वाली में 94% पकड़ीं; ये शिक्षक-सापेक्ष परिणाम हैं, वास्तविक हानि का स्वतंत्र मापन नहीं।
- कंपनी उत्पादन API ट्रैफिक के वितरण में अतिरिक्त अनुमान गणना 2% से कम बताती है और कहती है कि यह लागत ग्राहकों से नहीं ली जाती।
- उत्पादन में केवल बाद की समीक्षा के लिए संकेत मिलता है, बातचीत रोकी नहीं जाती; अभी शून्य डेटा-प्रतिधारण समझौतों वाले ट्रैफिक पर यह नहीं चलता।
उत्तर के बाद दूसरा निर्णय
हर उत्तर के बाद एक छोटा सिस्टम निर्देश Claude से पूरी बातचीत जाँचने को कहता है। नतीजे में हानि की श्रेणी, इनकार की स्थिति, 1 से 10 तक प्राथमिकता और छोटा कारण हो सकते हैं। ये अतिरिक्त चरण उपयोगकर्ता को नहीं मिलते और अगली बातचीत में शामिल नहीं होते। मौजूदा KV कैश का उपयोग लंबा संवाद फिर से पढ़ने से बचाता है। चिह्न आगे की जाँच का संकेत है, नीति उल्लंघन या वास्तविक नुकसान का फैसला नहीं। बड़े पैमाने पर छोटी गलत-सकारात्मक दर भी बहुत-सी सामान्य बातचीत के अलार्म बना सकती है।
प्रशिक्षण और गणना का खर्च
पहले पर्यवेक्षित फाइन-ट्यूनिंग मूल्यांकन का प्रारूप सिखाती है, फिर पुनर्बलन अधिगम छह सत्यापनीय गुण सुधारता है। शिक्षक विस्तृत आंतरिक नीतियों वाला Claude Mythos Preview आधारित वर्गीकारक है। कृत्रिम डेटा में 32 विषय और हर विषय के 32 परिदृश्य बनाए जाते हैं: हर उपनीति के लिए 1,024 हानिकारक और 1,024 सामान्य परिदृश्य। नुकसान-फलन केवल मूल्यांकन पर लागू होता है, ताकि उदाहरणों में दिखाई गई हानिकारक सहायता सीधे न सीखी जाए। औसतन करीब 10 अतिरिक्त आउटपुट टोकन लगते हैं। 2% से कम अनुमान उसी ट्रैफिक वितरण का है, हर काम में शून्य अतिरिक्त खर्च की गारंटी नहीं; यह हिस्सा न वसूलना अनुमान सेवा को मुफ्त नहीं बनाता।
78%, 94% और 1% का सही अर्थ
उत्पादन परीक्षण मापता है कि आत्म-मूल्यांकन शिक्षक के चिह्न कितनी बार दोहराता है। 1% गलत-सकारात्मक बिंदु पर कुल रिकॉल 78% और शिक्षक की प्राथमिकता 7 या अधिक के लिए 94% है। वास्तविक नुकसान का स्वतंत्र रूप से स्थापित सत्य यहाँ आधार नहीं है। प्रशिक्षण और परीक्षण में एक शिक्षक होने से उसके अंधे क्षेत्र बिना पकड़े आगे जा सकते हैं। चार आकारों का अलग प्रयोग केवल पर्यवेक्षित प्रशिक्षण और दूसरे परीक्षण सेट पर था; उसमें करीब 16% से 96% की वृद्धि को Fable 5 के उत्पादन परिणाम से सीधे नहीं तुलना सकते। धोखाधड़ी या साइबर उदाहरण हटाने का नतीजा उत्साहजनक है, पर पूरी तरह नए खतरों की कवरेज सिद्ध नहीं करता।
हमले का प्रयोग जरूरी संतुलन देता है
जून में Fable 5 के बाद जारी मॉडलों के काफी ट्रैफिक पर कंपनी इसे निष्क्रिय निगरानी की तरह चलाती है। संगठन-स्तर पर बार-बार उच्च प्राथमिकता के संकेत मानवीय प्रवर्तन समीक्षा तक जा सकते हैं। सामान्य उत्पादन वर्गीकारक बंद करके किए गए अलग 24 आक्रामक साइबर कार्यों में बिना सुरक्षा 19, आत्म-मूल्यांकन को अवरोधक बनाकर 13 और स्वतंत्र प्रॉम्प्ट वर्गीकारक के साथ छह हमले सफल हुए। करीब 79%, 54% और 25% सुरक्षा गारंटी नहीं हैं। आत्म-मूल्यांकन को पार करने वाले सफल हमलों में करीब चार गुना उत्पन्न टोकन लगे, फिर भी लक्षित हमलावर अनुकूलन कर सकता था। देर से प्रतिक्रिया देने वाली निगरानी और तुरंत निर्णय दिखाने वाला अवरोधक अलग उपयोग हैं।
गोपनीयता और साझा गलतियों की सीमा
मूल्यांकन वही बातचीत पढ़ता है जो मौजूदा नीतियों के अनुसार पहले संसाधित हुई है; कोई नई तरह का उपयोगकर्ता इनपुट नहीं जुटाता। लेकिन खुले पाठ वाला कारण बातचीत को दूसरे शब्दों में कह सकता है, इसलिए उस पर प्रॉम्प्ट और उत्तर जैसे ही प्रबंधन नियम लागू होते हैं। शून्य प्रतिधारण ट्रैफिक बाहर है। कार्यकर्ता और निगरानीकर्ता का एक मॉडल होना समान निर्णय-त्रुटियों और सैद्धांतिक रूप से छिपाव या मिलीभगत का जोखिम लाता है। लेख इसे अभी Claude के अपने व्यवहार का भरोसेमंद निगरानीकर्ता नहीं मानता। हमारी व्याख्या में सस्ती व्यापक छँटाई महँगे विश्लेषण और मानव ध्यान का आवंटन करती है; एजेंट का अपने पक्ष में दिया अंक संवेदनशील कार्रवाई की अनुमति नहीं बनना चाहिए।
यह क्यों अहम है
एजेंट बनाने वाली टीमों के लिए स्पष्ट समीक्षा सीमाओं, प्रतिधारण नियमों और स्वतंत्र प्रवर्तन परत वाली निगरानी श्रृंखला उपयोगी विचार है। शोध गणना और कवरेज का समझौता दिखाता है। AISubHub ने प्रयोग नहीं दोहराए; यह ग्राहक-नियंत्रित नई सुरक्षा सुविधा या व्यक्तिगत सदस्यता अधिकार की घोषणा भी नहीं है।
सीमाएँ और उपलब्धता
प्रमाण Anthropic का अपना विवरण है। शिक्षक लेबल, सीमित हमले और ज्ञात हानि श्रेणियाँ अनिश्चितता छोड़ती हैं। कम खर्च, संकेत या इनकार का लेबल सुरक्षा, उल्लंघन या कार्रवाई की अनुमति सिद्ध नहीं करता।
स्रोत और प्रमाण
स्रोत की तारीख: 16 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।