विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
ThinkingBox: डेटाबेस की जाँच से प्रशिक्षण पुरस्कार, लेकिन कम कार्यों तक पहुँच
Microsoft और Hugging Face ने Qwen3.8-27B पर 50 GRPO चरणों के बाद बार-बार सफलता बढ़ने, पर कम कार्यों के कम-से-कम एक बार हल होने की रिपोर्ट दी।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
22 अक्टूबर की संयुक्त तकनीकी पोस्ट में Microsoft और Hugging Face ने ThinkingBox-Training बताया, जो एजेंट के वास्तव में छोड़े गए डेटाबेस स्टेट के आधार पर पुरस्कार देता है। Tuhin Kundu की पोस्ट में Qwen3.8-27B की औसत और दोहराई गई सफलता बढ़ी, लेकिन कार्यों का दायरा घटा। ये लेखकों के प्रयोग हैं, AISubHub का पुनरुत्पादन या Qwen के आधार मॉडल का नया संस्करण नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- 507 कार्यों पर 20-20 प्रयासों में सफल प्रयास 5,242 से 6,163 हुए; सभी 20 प्रयासों में सफल कार्य 38 से 107 हुए।
- कम-से-कम एक बार हल हुए कार्य 453 से घटकर 446 रहे। 187 प्रशिक्षण कार्य बेंचमार्क से अलग हैं और सार्वजनिक नमूना सूची के समान नहीं हैं।
- बताई गई लागत में कमी अनुमानित इन्फरेंस तुलना की है; प्रशिक्षण और पॉलिसी की जाँच का खर्च शामिल नहीं है।
बातचीत पूरी होने पर भी व्यावसायिक रिकॉर्ड गलत रह सकते हैं
समस्या ऐसा एजेंट है जो सफलता घोषित करता है लेकिन गलत रिकॉर्ड छोड़ता है। पोस्ट में 1,450 डॉलर की एक कृत्रिम होटल बुकिंग का उदाहरण है: कम श्रेणी का कमरा लेने से पहले प्रबंधक की मंजूरी चाहिए। आधार मॉडल ने 20 में से 15 प्रयासों में बिना मंजूरी बुकिंग बदल दी। प्रशिक्षण के बाद सभी 20 प्रयासों में बुकिंग और भुगतान का स्टेट जस का तस रहा, लेकिन सभी अपेक्षित रिकॉर्ड केवल 19 में मिले। दो महत्वपूर्ण स्टेट बचाना हर प्रयास में पूरे कार्य की सफलता नहीं है।
ThinkingBox प्रभावशाली व्याख्या या औजारों के तय क्रम के बजाय अंतिम बैकएंड स्टेट और अतिरिक्त प्रभाव जाँचता है। लेखकों के अनुसार पुरस्कार द्विआधारी है: सही परिणाम पास होता है; गलत, गायब या अतिरिक्त प्रभाव विफल होते हैं। अधिकतर जाँचें निर्धारित नियमों पर चलती हैं, लेकिन कुछ सीमित आवश्यकताएँ भाषा मॉडल जज का उपयोग कर सकती हैं। AISubHub का विश्लेषण है कि पुरस्कार की उपयोगिता उतनी ही है जितने महत्वपूर्ण परिणाम उसकी जाँच और मानदंड वास्तव में पकड़ते हैं।
एक बार कार्य चुनें, फिर अलग परिणामों के अंतर से सीखें
उम्मीदवार कार्यों की छँटाई, आधार पॉलिसी की जाँच और कठिनाई का वर्गीकरण प्रशिक्षण से पहले एक बार ऑफलाइन होता है। उसके बाद तय पूल पर एपिसोड बनाना, अंक देना और अपडेट करना दोहरता है। n जाँचों में k सफलताओं पर Jeffreys posterior, Beta(k + ½, n − k + ½), प्रयोग होता है और posterior mass से पाँच कठिनाई श्रेणियाँ बनती हैं। पूरे पैरामीटर वाला प्रशिक्षण 0.08 से 0.90 से नीचे तक के बीच के समूह रखता है। चित्र का LoRA चयन अक्सर हल होने वाला 0.60–0.90 समूह भी हटाता है। ये अलग चयन नियम हैं।
रिपोर्ट किया गया पूर्ण-पैरामीटर प्रयोग 187 कार्य, token-mean GRPO और 50 चरण उपयोग करता है। हर अपडेट में आठ पूरे एपिसोड के 18 समूह, यानी 144 एपिसोड, 24 H100 GPU पर बनते हैं। सभी पुरस्कार शून्य या सभी एक हों तो केंद्रीकरण के बाद कार्य-पुरस्कार का सापेक्ष लाभ नहीं मिलता; मिले-जुले परिणाम सीखने का अंतर देते हैं। शून्य-विचरण समूह बदले जाते हैं और बैकएंड विफलताएँ एजेंट की गलतियाँ माने बिना अलग से भरी जाती हैं। फेंके गए एपिसोड का खर्च फिर भी होता है। ऑप्टिमाइज़र AdamW, learning rate 1e-6 और weight decay शून्य है।
बार-बार सफल होना और अधिक कार्य हल करना अलग हैं
मूल्यांकन में 507 कार्यों पर 20-20 प्रयास, कुल 10,140 प्रयास हैं। लेखकों का pass@1 औसत सफलता मापता है, जो 51.70% से 60.78% हुआ, यानी 9.08 प्रतिशत अंक की वृद्धि। Observed 20/20 उन कार्यों को गिनता है जो हर दर्ज प्रयास में सफल रहे: 507 में 38 से 107, या 7.50% से 21.10%। यह सीमित नमूने का अवलोकन है; बीस सफलताएँ अनिश्चितकालीन विश्वसनीयता या नए प्रोडक्शन इनपुट पर सफलता की गारंटी नहीं देतीं।
Pass@20 पूछता है कि कार्य कम-से-कम एक बार हल हुआ या नहीं। यह 453 कार्य, 89.35%, से घटकर 446, 87.97%, रह गया। पाँचों क्षेत्रों में औसत सफलता और observed 20/20 बढ़े, लेकिन खुदरा, यात्रा और वाहन बीमा में कम-से-कम एक सफलता का दायरा घटा। इससे लेखकों की अधिक दोहराने योग्य लेकिन कम व्यापक व्यवहार वाली व्याख्या को समर्थन मिलता है। AISubHub इन विपरीत संकेतकों को एक मॉडल-गुणवत्ता रैंक में नहीं बदलेगा और सुधार बताते समय घटा दायरा नहीं छिपाएगा।
सार्वजनिक प्रशिक्षण स्टैक पूरी पुनरुत्पादन सामग्री नहीं है
पोस्ट के अनुसार जारी स्टैक में कार्य चयन, एपिसोड, पुरस्कार और Verl एकीकरण है। सार्वजनिक नमूना सूची परिणामों वाला निजी 187-कार्य पूल नहीं है; उपयोगकर्ता को अधिकृत और बेंचमार्क से अलग प्रशिक्षण स्रोत चाहिए। दस्तावेज़ Linux या WSL, Python 3.12, संशोधित Verl 0.9.0, मॉडल फाइलें, उपयुक्त GPU तथा नकली उपयोगकर्ता और जज के endpoints बताते हैं। प्रशिक्षण में तीन नोड पर आठ-आठ H100 हैं; ऐतिहासिक checkpoint मूल्यांकन में आठ A100 हैं। हमने कमांड पढ़े, चलाए नहीं, और लिंक किए गए repository व guides नहीं जाँचे।
लेखक 20-दोहराव वाले मूल्यांकन अभियान की इन्फरेंस लागत पहले 925.80 डॉलर और बाद में 855.58 डॉलर आँकते हैं। प्रति सफल प्रयास अनुमान 0.177 से 0.139 डॉलर होता है; कुल अभियान लागत को 20/20 सफल कार्यों से भाग देने पर 24.36 से 8.00 डॉलर होता है। ये तुलनात्मक serving अनुमान हैं, बिल या क्लाउड कोटेशन नहीं। प्रशिक्षण और डेटा चयन के पॉलिसी परीक्षण इसमें शामिल नहीं हैं। अंतिम अनुपात में 67.2% कमी से किसी संस्था के कुल खर्च में 67.2% कमी सिद्ध नहीं होती।
इंजीनियर क्या सीख सकते हैं और प्रमाण कहाँ रुकता है
लेखक ThinkingBox-Bench को मूल्यांकन के लिए अलग रखते हैं और उसके क्षेत्र, डेटाबेस तथा अधिकतर औजारों को प्रशिक्षण में अनदेखा बताते हैं। फिर भी दोनों चरण framework, नकली उपयोगकर्ता, अंतिम स्टेट की ग्रेडिंग, कुछ औजार और कार्य शैली साझा करते हैं। सार्वजनिक बेंचमार्क व्यावसायिक प्रक्रियाओं का कृत्रिम पुनर्निर्माण है; ग्राहक असली नहीं हैं। यह सीमित स्थानांतरण प्रयोग का प्रमाण है, किसी भी उद्यम प्रक्रिया के सुरक्षित होने का नहीं। पोस्ट कोड और डेटा के लाइसेंस बताती है, पर हमने लिंक की गई लाइसेंस फाइलें स्वतंत्र रूप से नहीं जाँचीं।
AISubHub का व्यावहारिक निष्कर्ष है कि दायरा और दोहराव दोनों मापें, महत्वपूर्ण अतिरिक्त प्रभाव जाँचें और सुनिश्चित करें कि प्रशिक्षण व मूल्यांकन reasoning, औजारों के नाम और arguments को समान ढंग से समझें। सिस्टम विफलताओं की अलग गणना भी चाहिए। महत्वपूर्ण परिणाम छोड़ने वाला पुरस्कार गलत उद्देश्य को कुशलता से अनुकूलित कर सकता है। हमने लिंक किया गया शोधपत्र नहीं पढ़ा और आँकड़े फिर नहीं चलाए; तुलना कार्य चयन को हर सुधार का अकेला कारण भी अलग करके सिद्ध नहीं करती। प्रोडक्शन उपयोग को वास्तविक कार्यों पर जाँचना होगा।
यह क्यों अहम है
काम निष्पादन योग्य परिणाम-जाँच को एजेंट के प्रशिक्षण संकेत में बदलने का ठोस तरीका और समाधान मिलने तथा बार-बार सही होने का अंतर दिखाता है। यह सार्वभौमिक विश्वसनीयता या कुल लागत बचत सिद्ध नहीं करता।
सीमाएँ और उपलब्धता
सभी परिणाम संयुक्त पोस्ट के लेखकों के हैं। निजी प्रशिक्षण पूल, न जाँचे गए repository और शोधपत्र, साझा तंत्र, कृत्रिम कार्य और बाहर रखी लागतें पुनरुत्पादन व स्थानांतरण को सीमित करती हैं। स्रोत की तारीख दिन की सटीकता में रखी गई है।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।