विस्तृत विश्लेषण · लगभग 8 मिनट पढ़ना
AWS की मल्टी-टर्न RL गाइड: इनाम, डिकोडिंग और पूरे खर्च के साथ नतीजे पढ़ना
SageMaker AI का Wordle उदाहरण gpt-oss-20b में सुधार बताता है, लेकिन इनाम की गलतियाँ, मूल्यांकन की सेटिंग और प्रशिक्षण टोकन से अलग AgentCore खर्च भी दिखाता है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
AWS ने SageMaker AI पर मल्टी-टर्न रीइन्फोर्समेंट लर्निंग की एक अनुवर्ती व्यावहारिक गाइड प्रकाशित की है। 23 अक्टूबर का तकनीकी लेख gpt-oss-20b को Wordle खेलना सिखाता है और इनाम की विफलताओं, संचालन की समस्याओं तथा मूल्यांकन की शर्तों को समझाता है। यह मौजूदा सेवा के कार्यान्वयन का नया प्रमाण है, प्रशिक्षण सत्रों की सामान्य उपलब्धता की दोबारा घोषणा या नए बेस मॉडल का विमोचन नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- अलग रखे गए 128 शब्दों पर AWS medium reasoning और temperature 1.0 में 61%→84% हल होने की दर बताता है; उसी तापमान पर low reasoning में 15%→69% है।
- 100-स्टेप रन में 12 घंटे 40 मिनट में 105,486 rollout हुए और तीनों प्रकार के मॉडल टोकन शुल्क का कुल $338.50 था; AgentCore के लगभग $79 अलग हैं।
- खराब भार वाला इनाम धीमे समाधान को प्राथमिकता दे रहा था। प्रशिक्षण-वैलिडेशन के अंतिम 37% और सर्विंग मूल्यांकन के 84% की सेटिंग अलग है।
सीखने का लक्ष्य एक जवाब नहीं, पूरा एपिसोड है
कई चरणों वाले एजेंट को नकल करने योग्य उत्तर के साथ निर्णयों के पूरे क्रम पर प्रतिक्रिया चाहिए। AWS की संरचना में SageMaker AI प्रशिक्षण जॉब और नीति मॉडल चलाता है; AgentCore रनटाइम Strands एजेंट, वातावरण और स्कोरिंग को होस्ट करता है। एजेंट नीति मॉडल से अनुमान माँगता है, Wordle की प्रतिक्रिया पाता है और खेल खत्म होने पर एक इनाम रिपोर्ट करता है। GRPO एक ही शब्द के कई rollout की तुलना करके LoRA अडैप्टर अपडेट करता है। पाँच अक्षर और छह मौके नतीजे को आसानी से स्कोर करने देते हैं, पर यह शिक्षण कार्य है, उत्पादन में किसी कार्यप्रवाह का प्रमाण नहीं।
उदाहरण 640 प्रशिक्षण शब्दों को 128 अलग मूल्यांकन शब्दों से अलग रखता है। हर प्रशिक्षण पंक्ति का गुप्त शब्द वातावरण के लिए है; उसे नीति को उत्तर के संकेत की तरह नहीं दिखाया जाता। न लक्ष्य उत्तर हैं, न लेबल किए गए ट्रैजेक्टरी। प्रशिक्षण में 100 स्टेप, प्रति स्टेप 128 शब्द और प्रति शब्द आठ खेल हैं, low reasoning तथा temperature 1.0 के साथ। यह विभाजन महत्त्वपूर्ण है: सीखने का संकेत वातावरण और इनाम देते हैं, लेकिन उन्हें सही बनाना ग्राहक की जिम्मेदारी है।
इनाम बढ़ सकता है, जबकि अपेक्षित व्यवहार बिगड़ जाए
पहला डिज़ाइन हर अनुमान के बाद बोनस जोड़ता था। उससे हारे हुए खेल को +0.49, पहले अनुमान में समाधान को +0.99 और तीसरे अनुमान के समाधान को +1.61 मिल सकता था—बेहतर नतीजे के बजाय लंबा रास्ता पुरस्कृत होता था। अंतिम डिज़ाइन में पूरे एपिसोड का परिणाम प्रमुख है: पहले अनुमान में सफलता का परिणाम स्कोर 1.55 से घटकर छठे में 1.05 होता है; हार −0.5 और कोई वैध अनुमान न होने पर −1.5 है। सुरागों का पालन, दोहराव और सूचना-लाभ छोटे shaping संशोधन देते हैं।
shaping को −1 से 1 के बीच सीमित कर सफल खेलों में 0.04, अन्यथा 0.15 का भार दिया जाता है। सफलता पर भी पुराना 0.15 भार धीमी समाप्ति को बेहतर बना सकता था; उसे घटाने से आसन्न सफल परिणामों के स्कोर अंतराल अलग रहते हैं और सबसे खराब सफलता भी सफलता-सीमा से ऊपर रहती है। AISubHub का निष्कर्ष है कि असली ट्रैजेक्टरी देखकर इनाम के क्रम को अपेक्षित व्यवहार से मिलाना संचालन का मुख्य सबक है। केवल औसत इनाम बढ़ना सही लक्ष्य सीखने का प्रमाण नहीं।
शीर्ष सुधार तर्क और सैंपलिंग की शर्तों पर निर्भर है
अलग रखे गए 128 शब्दों पर medium reasoning और temperature 1.0 में बेस मॉडल 61% तथा प्रशिक्षित मॉडल 84% हल करता है—23 प्रतिशत अंक का सुधार। प्रशिक्षित 84%, दो रन 80% और 88% का औसत है। low reasoning तथा temperature 1.0 में तुलना 15%→69%, यानी 54 अंक है। temperature 0 में चार्ट low के लिए 2%→37% और medium के लिए 16%→30% दिखाता है। ये चार अलग शर्तें हैं, किसी एक सार्वभौमिक सुधार के परस्पर बदलने योग्य अनुमान नहीं।
प्रशिक्षण के दौरान वैलिडेशन low reasoning और सेवा द्वारा निश्चित temperature 0 इस्तेमाल करता है। उसकी हल-दर स्टेप 90 पर अधिकतम 48% और अंत में 37% है, जबकि सर्विंग की प्रमुख संख्या medium तथा सैंपलिंग पर है। स्रोत इस अंतर को स्पष्ट रूप से डिकोडिंग सेटिंग से जोड़ता है। लेखकों के मूल्यांकन में low ने medium से प्रति खेल 63–83% कम sample टोकन इस्तेमाल किए; इससे कुल परियोजना खर्च में उतनी कमी की गारंटी नहीं मिलती। अलग रखा सेट छोटा है और AWS ने मनमाने औज़ारों, भाषाओं या व्यावसायिक कार्यों पर परिणाम स्थापित नहीं किए।
प्रशिक्षण टोकन पूरी लागत नहीं हैं
रिपोर्ट किया गया 100-स्टेप रन 12 घंटे 40 मिनट चला और उसमें 105,486 rollout हुए। तालिका में 491,616,806 prefill टोकन, प्रति दस लाख $0.12 से $58.99; 159,737,098 sample टोकन, $0.30 से $47.92; और 643,308,554 train टोकन, $0.36 से $231.59 हैं। कुल $338.50 है, लगभग $339। ये लेख लिखे जाने के समय us-east-1 में GPT-OSS-20B की सूची-दरें हैं। हम स्रोत का $ चिह्न रखते हैं, मुद्रा स्वयं नहीं मानते और इन्हें वर्तमान या सार्वभौमिक कोटेशन नहीं बताते।
AgentCore CPU और मेमोरी लगभग $79 अलग जोड़ते हैं; मूल्यांकन जॉब लगभग $1.20 और हैं। prefill में बातचीत का इतिहास दोबारा पढ़ना शामिल है, sample में reasoning टोकन हैं और backward-pass प्रशिक्षण तालिका का सबसे बड़ा खर्च है। इसलिए लंबी ट्रैजेक्टरी कई मीटर प्रभावित करती है। गाइड चेताती है कि प्रशिक्षण के बाद AgentCore, MLflow और S3 संसाधन बने रह सकते हैं। AISubHub इसे उपयोगी लेखा उदाहरण मानता है, पर बिल सत्यापित नहीं किया और सभी बचे संसाधनों व आगे के परिनियोजन समेत संपूर्ण लागत स्थापित नहीं की।
रनटाइम की विफलता सही प्रयोग को भी निष्फल कर सकती है
गाइड वे विफलताएँ दर्ज करती है जो केवल सटीकता की सुर्खी में छिप जातीं। जॉब रोल को job.sagemaker.amazonaws.com trust principal तथा AssumeRole और TagSession दोनों अनुमतियाँ चाहिए। केवल handler decorator सर्वर शुरू नहीं करता; उदाहरण में BedrockAgentCoreApp और सबसे बाहरी entrypoint decorator चाहिए। डेटा, रनटाइम और जॉब एक ही Region में होने चाहिए। प्रशिक्षण के बीच रनटाइम फिर परिनियोजित करने से rollout टूटते हैं और पूरा जॉब असफल हो सकता है।
32 समवर्ती rollout ने कैश किए क्रेडेंशियल के समाप्त होने की समस्या भी उजागर की। लेखक पहले से refresh और authorization विफलता के बाद फिर हस्ताक्षर करने का उपाय बताते हैं। छोटा टोकन बजट tool call के लिए जगह खत्म कर सकता था और बहुत बड़ी learning rate संरचित कॉल को सामान्य टेक्स्ट बना सकती थी। ये कार्यान्वयन के सबक हैं, विश्वसनीयता की गारंटी नहीं। हमने लेख के कोड उदाहरण पढ़े, पर निर्भरताएँ स्थापित नहीं कीं, AWS API या smoke test नहीं चलाया, अडैप्टर प्रशिक्षित नहीं किया और सुधार दोहराए नहीं।
इस Wordle उदाहरण से बाहर क्या अपनाया जा सकता है
गाइड की मॉडल तालिका उसके लेखन समय तक सीमित है: LoRA के साथ Nova2Lite और GPT-OSS-20B, us-east-1 तथा us-west-2 में; Gemma4 31B instruction-tuned और Qwen3.6 27B, us-west-2 में। इससे सभी मॉडल, Region या खाते समर्थित सिद्ध नहीं होते। यह अनुवर्ती गाइड उन मॉडलों या पहले कवर किए गए अलग training-sessions सेवा-लॉन्च की नई घोषणा भी नहीं है।
अपनाने योग्य डिज़ाइन है—कार्य का नतीजा, shaping के प्रोत्साहन, सर्विंग कॉन्फ़िगरेशन और कुल संसाधन खर्च को अलग-अलग जाँचना। किसी व्यावसायिक कार्यप्रवाह में लाभ बताने से पहले उसका अपना वातावरण, तर्कसंगत इनाम और प्रतिनिधि अलग मूल्यांकन चाहिए। हमने पूरा लेख, सभी तालिकाएँ और सात आवश्यक स्थिर चित्र पढ़े। लिंक किए दस्तावेज़, पेपर, रिपॉज़िटरी और लाइसेंस की समीक्षा नहीं की तथा प्रदर्शन, मूल्य या सुरक्षा का स्वतंत्र परीक्षण नहीं किया। ये नतीजे AWS के सीमित Wordle प्रयोग के ही हैं।
यह क्यों अहम है
गाइड मल्टी-टर्न प्रशिक्षण परियोजना की जाँच के ठोस तरीके देती है: इनाम का क्रम परखें, एक जैसी डिकोडिंग शर्तों पर तुलना करें और मॉडल कार्य के साथ एजेंट रनटाइम का बजट रखें। किसी दूसरे कार्यप्रवाह में सुधार उसी कार्यप्रवाह पर मापा जाना चाहिए।
सीमाएँ और उपलब्धता
AWS ने 128 अलग शब्दों वाले एक Wordle प्रयोग की रिपोर्ट दी है; प्रशिक्षित मॉडल की प्रमुख दर दो रन का औसत है। हमने पूरी गाइड और सात स्थिर चित्र देखे, लिंक किए दस्तावेज़, रिपॉज़िटरी या लाइसेंस नहीं। प्रशिक्षण, API, बिलिंग या परिनियोजन परीक्षण नहीं चलाया। मूल्य तथा मॉडल/Region शर्तें स्रोत के लेखन समय की हैं।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।