विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
FairStress जाँचता है कि पहचान के दबाव में मॉडल समान फैसलों का समान बचाव करते हैं या नहीं
Ai2 जोड़े गए निर्णयों, मनाने वाले तर्कों, स्पष्टीकरण और मूल्यांकन पद्धतियों की तुलना करता है; परीक्षण की विषमता को वास्तविक सामाजिक आँकड़ा नहीं मानता।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Ai2 के 20 अक्टूबर के FairStress लेख के अनुसार अंतिम उत्तर समान होने पर भी मनाने के प्रयास का प्रतिरोध अलग हो सकता है। परीक्षण में योग्यता स्थिर रखकर जनसांख्यिकीय पहचान और तर्क बदले जाते हैं। परिणाम Ai2 के हैं, AISubHub के प्रयोग या वास्तविक भर्ती के आँकड़े नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- 29 क्षेत्रों के 300 परिदृश्य संयोजन से 1.3 करोड़ से अधिक परीक्षण बनाते हैं; Core लागत घटाने के लिए 50,000 प्रश्न चुनता है।
- सही उत्तर छोड़ना, समान योग्यता वालों में पसंद और निर्णय का स्पष्टीकरण अलग माप हैं, जिनके हर भी अलग हैं।
- कुछ हस्तक्षेप शुद्धता घटाकर संतुलन लाए; प्रतितथ्यात्मक तर्क ने जाँचे गए मॉडल परिवारों में आंशिक सुधार दिया, पूर्ण समाधान नहीं।
1. प्रमाण स्थिर रखें, पहचान और मनाने का दबाव बदलें
कल्पना करें कि सहायक दो आवेदन परखता है। पहचान बदलने पर भी दोनों संस्करणों में मजबूत आवेदन चुनना सुसंगत दिखता है, लेकिन इससे नहीं पता चलता कि निराधार सिफारिश किसी एक निर्णय को अधिक आसानी से पलट देगी या नहीं। FairStress इसी स्थिरता को अलग जाँचता है। Ai2 ने भर्ती, ऋण, स्वास्थ्य, शिक्षा और आवास समेत 29 क्षेत्रों में दो उम्मीदवारों वाले 300 परिदृश्य बनाए। कुछ में एक स्पष्ट रूप से अधिक योग्य है; अन्य में दोनों की मजबूत लेकिन कठिन-तुलनीय विशेषताएँ हैं। पहले समूह में शुद्धता मापी जा सकती है; दूसरे में काल्पनिक सही विजेता बनाए बिना पसंद देखी जाती है।
पहचान के चार स्तर हैं: अनुपस्थित, नाम में संकेतित, अप्रत्यक्ष रूप से सुझाई गई और स्पष्ट लेबल वाली। मनाने वाले उपसर्ग अधिकार, सहमति, कथित प्रमाण या ऐतिहासिक वंचना का सहारा लेते हैं; दूसरे उम्मीदवार के पक्ष में भी उसी प्रकार का तर्क जोड़ा जाता है। दोनों दिशाओं की तुलना सामान्य प्रभावशीलता और पहचान-आधारित विषमता अलग करती है। संयोजन से 1.3 करोड़ से अधिक मामले बनते हैं, इतने स्वतंत्र वास्तविक प्रसंग नहीं। FairStress-Core प्रश्न-प्रतिक्रिया सिद्धांत से 50,000 प्रश्न चुनता है, ताकि कम गणना में मॉडल-अंतर दिखें। ये 50,000 वास्तविक सामाजिक निर्णय भी नहीं हैं।
2. दो अलग अंतर एक भेदभाव दर नहीं बनते
Ai2 के अनुसार पहचान न होने पर अंतर छोटा था और पहचान स्पष्ट करने पर बढ़ा। चार पहचान शर्तों के साझा 19 क्षेत्रों में 15 मॉडलों के लिए सही उत्तर छोड़ने की औसत दरों का अंतर अप्रत्यक्ष पहचान पर 6.9 प्रतिशत अंक और स्पष्ट लेबल पर 9.3 अंक था। दर्ज दिशा में दबाव अधिक योग्य बहुसंख्यक-संकेतित उम्मीदवार को कम योग्य अल्पसंख्यक-संकेतित उम्मीदवार के पक्ष में हटाता था, उलटी तुलना से अधिक आसानी से। ये सशर्त निर्णय-बदलाव दरों के अंतर हैं, सभी फैसलों में गलत उत्तरों का प्रतिशत नहीं।
Core के अस्पष्ट मामलों में Claude Opus 5 और GPT-5.5 जैसे अग्रणी मॉडल लगभग 60–65% बार अल्पसंख्यक-संकेतित उम्मीदवार चुनते थे। मॉडल और मोड के 12 रन में समान प्रकार के दबाव पर अल्पसंख्यक की ओर और बहुसंख्यक की ओर बदलाव में 8.8–42.4 प्रतिशत अंकों का अंतर था। पहला आँकड़ा दबाव-रहित पसंद, दूसरा बदलाव की विषमता है। कोई भी वास्तविक समूहों की योग्यता नहीं मापता। Ai2 अपने चुने मानक में इसे रूढ़ियों के विरुद्ध अति-सुधार कहता है; यह हर मॉडल, काम या संस्था का सार्वभौमिक निदान नहीं है।
3. स्पष्टीकरण और अंकन विधि दिखाई देने वाला परिणाम बदलते हैं
11 खुले-वज़न मॉडलों में Ai2 ने अल्पसंख्यक-संकेतित विकल्प के स्पष्टीकरण कुछ अधिक सकारात्मक, आत्मविश्वासी या पहचान-केंद्रित पाए। जोड़े गए चित्र दिखाते हैं कि एक ही विजेता के लिए अलग तर्क मिल सकते हैं और पहचान स्पष्ट करने से चयन बदल सकता है। Gemma-3-12B-it तथा Qwen2.5-7B-Instruct की आंतरिक सक्रियताओं के वर्गीकारकों ने चुने गए जनसांख्यिकीय पक्ष का लगभग 73% शुद्धता से अनुमान किया। उन्हीं सक्रियताओं के पाठ-विवरण 57–59% तक पहुँचे, जबकि संयोग 50% था। नाम हटाने पर सक्रियता-आधारित शुद्धता लगभग 18 प्रतिशत अंक घटी। केवल दो मॉडल वाला परिणाम स्पष्टीकरण की सीमा बताता है, कारणात्मक निर्णय-तंत्र सिद्ध नहीं करता।
BBQ की तुलना भी एकल अंक की सीमा दिखाती है। Ai2 ने वही प्रश्न और वज़न रखकर Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it और Llama-3.1-70B-Instruct पर पाँच विन्यास जाँचे। चैट साँचे, हाँ/नहीं शब्दांकन और उत्पन्न उत्तरों से तीन मॉडल रूढ़ि-अनुकूल दिशा से अल्पसंख्यक-पक्षीय दिशा में गए; Llama-3.1-8B लगभग तटस्थ हुआ। तय विकल्पों की संभावनाएँ और उत्पन्न फैसले एक ही पक्षपात नहीं दिखाते। हमारा निष्कर्ष है कि इंटरफ़ेस और अंकन को परिणाम में दर्ज करना चाहिए, विन्यास के अंतर को नए प्रशिक्षित वज़न नहीं कहना चाहिए।
4. प्रशिक्षण के संकेत और सुधार के परिणाम अलग प्रमाण हैं
Olmo 3 प्रशिक्षण की जाँच में दो अस्वीकृति-प्रशिक्षण डेटासेट से करीब 99,000 उदाहरण मिले। फाइन-ट्यूनिंग और पसंद डेटा के 28,000 विषय-समूहों में केवल नौ ने पहचान की जगह योग्यता पर निर्णय की चर्चा की, और सभी में अस्वीकृतियाँ थीं। इससे उदाहरणों का अभाव सुझता है: भेदभाव से इनकार करना प्रमाण से चयन सिखाने के बराबर नहीं। व्यवहार का अंतर इन्हीं से पैदा होता है या नहीं, खुला प्रश्न है। हीटमैप सकारात्मक चित्रण के अनुपात में से नकारात्मक का अनुपात घटाता है; पसंद स्तंभ केवल पसंदीदा उत्तर और पुनर्बलन स्तंभ केवल प्रॉम्प्ट लेता है। कुछ अनुमान मात्र आठ प्रॉम्प्ट पर हैं; न ये तुलनीय चयन दरें हैं, न कारण का प्रमाण।
नौ हस्तक्षेपों में आत्मालोचना, सक्रियता-निर्देशन और सीखे हुए संपादन शामिल थे। अधिकांश ने विषमता विश्वसनीय रूप से नहीं घटाई। एक निर्देशन से स्पष्ट प्रश्नों में Qwen2.5-7B-Instruct की शुद्धता 98% से 47% हुई, यानी दिखावटी संतुलन महँगा हो सकता है। पहचानें बदलकर पुनर्विचार कराने वाली प्रतितथ्यात्मक विचार-श्रृंखला ने तीन परिवारों में सही उत्तर छोड़ने का अंतर घटाया और अधिकतर शुद्धता बचाई। फिर भी अस्पष्ट मामलों में अल्पसंख्यक-पसंद रही। इसलिए गुणवत्ता और मजबूती साथ आँकें; एक अंतर शून्य के पास जाने भर से सुधार मंजूर न करें।
5. तैनाती के निर्णय में यह परीक्षण क्या बता सकता है
FairStress स्पष्ट रूप से समानता-केंद्रित सममित निष्पक्षता चुनता है: समान प्रमाण पर चयन और दबाव-प्रतिरोध लाभार्थी की पहचान से नहीं बदलने चाहिए। समतामूलक नीति ऐतिहासिक बहिष्कार को प्रासंगिक मान सकती है। बेंचमार्क इस मानक-संबंधी मतभेद को नहीं सुलझाता। बहुसंख्यक और अल्पसंख्यक संकेत परिदृश्य की तुलना के पात्र हैं, समूहों की क्षमता या लोगों का मूल्य नहीं। परिणाम अनुकरणीय निर्णय जाँचने में उपयोगी हैं, लेकिन वास्तविक रोजगार, ऋण या स्वास्थ्य भेदभाव की मात्रा या अनुपालन का प्रमाण नहीं।
AISubHub पहले निर्णय मानक तय करने, शुरुआती और दबाव-बाद के विकल्प अलग रखने तथा वास्तविक प्रॉम्प्ट और आउटपुट प्रक्रिया जाँचने का सुझाव देता है। नया संस्करण शुद्धता बनाए रखे लेकिन केवल एक दिशा में बदलाव बदल दे, तो जाँच जरूरी है; दोनों पक्ष बिगाड़कर त्रुटियाँ बराबर करना भी पर्याप्त नहीं। ये प्रस्तावित स्वीकृति प्रश्न हैं, हमारे किए सत्यापन नहीं। हमने ब्लॉग और चित्र पढ़े, जुड़े प्रतिवेदन, डेटा या कार्यान्वयन स्वतंत्र रूप से नहीं पढ़े और प्रयोग नहीं दोहराए। इस निदान के अलावा अनुप्रयोग-विशिष्ट प्रमाण और मानवीय जवाबदेही जरूरी हैं।
यह क्यों अहम है
AISubHub का विश्लेषण: प्रारंभिक निर्णय की गुणवत्ता और समान दबाव के विरुद्ध मजबूती दोनों बचनी चाहिए। केवल बराबर चयन अनुपात विश्वसनीयता सिद्ध नहीं करता।
सीमाएँ और उपलब्धता
हमने Ai2 का पूरा ब्लॉग और छह सार्थक चित्र पढ़े। जुड़े तकनीकी प्रतिवेदन, डेटासेट या कोड की स्वतंत्र जाँच नहीं की और प्रयोग दोहराए नहीं। समानता-केंद्रित परिभाषा वास्तविक भेदभाव दर या कानूनी अनुपालन तय नहीं करती।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।