विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
AWS ने Bedrock एजेंटों की प्रॉम्प्ट कैशिंग समझाई: स्थिर प्रीफिक्स और अलग लागत उदाहरण
गाइड साझा प्रीफिक्स की स्पष्ट कैशिंग को बढ़ते इतिहास की निहित कैशिंग से जोड़ती है और टूल बदलाव, सहायक एजेंट, लागत मॉडल तथा एंडपॉइंट निगरानी को अलग रखती है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
AWS के Claudio Mazzoni की 26 अक्टूबर की इंजीनियरिंग गाइड बताती है कि Amazon Bedrock पर OpenAI मॉडल इस्तेमाल करने वाले एजेंट गणना कैसे दोबारा उपयोग कर सकते हैं। यह नए मॉडल की घोषणा नहीं है। विश्लेषण पूरे लेख और लागत चार्ट पर आधारित है; AISubHub ने कोड नहीं चलाया और लागत, विलंब या उपलब्धता का स्वतंत्र मापन नहीं किया।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- प्रीफिक्स कम-से-कम 1,024 tokens का होना चाहिए। AWS लेखन या सफल पुनः उपयोग के बाद न्यूनतम 30 मिनट की अवधि और सामान्य इनपुट दर के 1.25 गुना लेखन शुल्क बताता है।
- चित्र 4 में दिखाए निहित विन्यास की सापेक्ष इनपुट लागत 0.38 और चलती सीमाओं की 0.39 है, जबकि बिना कैश 1.00 है। ये एक विशिष्ट कार्यभार के परिणाम हैं।
- अलग मॉडल उदाहरण में 8,000 tokens का प्रारंभिक प्रीफिक्स और हर बार 2,000 tokens जोड़ने वाले छह चरण हैं: बिना कैश $0.87, स्थिर कैश $0.50 और चलती सीमाओं से $0.32।
1. गणना का पुनः उपयोग स्थायी स्मृति नहीं है
एजेंट सामान्यतः हर अनुरोध में टूल परिभाषाएँ, निर्देश और पिछली बातचीत फिर भेजता है। prefill में मॉडल इनपुट से key/value अवस्था बनाता है; कैश मेल खाते प्रीफिक्स की अवस्था पुनः उपयोग करके नया प्रत्यय संसाधित करता है। इनपुट टोकन समान होने चाहिए, इसलिए टूल का सीरियलाइज़ेशन और क्रम स्थिर रखें तथा समय, नाम और अनुरोध पहचान जैसी बदलती सामग्री साझा प्रीफिक्स के बाद रखें।
स्पष्ट चिह्न टूल और निर्देशों के बाद साझा अंतिम बिंदु तय करता है; निहित मोड पात्र बातचीत-अंत का अनुसरण करता है। दोनों साथ चल सकते हैं, लेकिन प्रीफिक्स कम-से-कम 1,024 tokens होना चाहिए। उदाहरण का store=False इतिहास की जिम्मेदारी अनुप्रयोग में रखता है, कैश बंद नहीं करता। यह अनुकूलन स्थायी एजेंट स्मृति नहीं बनाता और जरूरी इतिहास भेजना अनावश्यक नहीं करता।
2. इतिहास बढ़ने पर पुरानी सीमाएँ बनाए रखें
लूप एन्क्रिप्टेड रीजनिंग सहित मॉडल आउटपुट और संबंधित टूल परिणाम जोड़ता है, पुराने संदेश नहीं बदलता। केवल स्पष्ट मोड में नए परिणाम समूह पर चिह्न लगाते समय पुराने चिह्न भी रखे जाते हैं। केवल स्थिर सीमा बाद का इतिहास बार-बार संसाधित करती है; एक सीमा को नवीनतम चरण पर ले जाना भी पुनः उपयोग खो सकता है। किसी कार्य के अंत तक निहित लेखन दूसरे कार्यों के लिए छोटा साझा अंतिम बिंदु अलग से बचाने की गारंटी नहीं देता।
चित्र 4 GPT-6 Astra के छह-चरणीय टूल लूप पर आधारित है, जिसमें हर चरण लगभग 2,000 tokens का टूल आउटपुट देता है। सापेक्ष इनपुट लागत निहित विन्यास 0.38, चलती सीमाएँ 0.39, केवल स्थिर 0.61, केवल नवीनतम चरण 0.72 और बिना कैश 1.00 है। लगभग 62% और 61% कमी इन्हीं विन्यासों की है; इसे चित्र 9 के अलग मॉडल उदाहरण की 64% कमी नहीं मानना चाहिए।
3. आरंभिक कैटलॉग बदले बिना टूल चयन बदलें
पहले से ज्ञात टूलों के लिए गाइड उसी क्रमबद्ध TOOLS सूची को रखती है और tool_choice के allowed_tools से कॉल-चयन बदलती है। auto मॉडल को अनुमति वाली कॉल करने का निर्णय देता है; required कम-से-कम एक अनुमत कॉल मांगता है। कैश में रखी सूची नहीं बदलती। AISubHub इसे प्रॉम्प्ट संरचना मानता है, अनुप्रयोग में सुरक्षित अधिकार-जाँच या टूल निष्पादन का प्रमाण नहीं।
सत्र में नए टूल आने पर AWS कहता है कि Runtime और Mantle, GPT-6 Astra, GPT-6.1 Sol तथा GPT-5.6 Luna के लिए additional_tools स्वीकार करते हैं। स्कीमा इतिहास में जोड़ें, आरंभिक सूची न बदलें और बाद के अनुरोधों में भी वह तत्व रखें। additional_tools स्वयं सीमा नहीं रख सकता; केवल स्पष्ट उदाहरण में बाद के input_text पर सीमा लगती है और पुरानी सीमाएँ बचती हैं। अलग भूमिकाएँ अपना स्थिर कैटलॉग चुनती हैं; सभी मॉडल या Region में उपलब्धता का दावा नहीं है।
4. सहायकों को समान दायरे में शुरू करने से पहले गर्म करें
सामान्य वार्म-अप अनुरोध पूरा होने के बाद समानांतर सहायक शुरू किए जाते हैं। निहित मोड में भी वार्म-अप और सहायकों के अनुरोध साझा प्रीफिक्स चिह्नित करते हैं, समान टूल, मॉडल और कुंजी रखते हैं तथा पहले usage से कैश गतिविधि देखते हैं। सारांश सहायक मूल एजेंट का पूरा इतिहास कॉपी करके अपना निर्देश जोड़ सकता है, जिससे मूल इतिहास नहीं बदलता। नया निर्देश स्वतः नया कैश अंतिम बिंदु नहीं बनाता।
पुनः उपयोग के लिए समान मॉडल, AWS खाता, Region, कुंजी और मेल खाता प्रीफिक्स चाहिए, और कैश प्रविष्टि अभी उपलब्ध होनी चाहिए। सत्र-विशिष्ट कुंजी समान सत्रों को अलग रखती है; स्थिर समूह-कुंजी इच्छित साझाकरण देती है। AWS अंतिम लेखन या सफल पुनः उपयोग से न्यूनतम 30 मिनट, संभवतः अधिक समय बताता है। ताज़ा करने का अनुरोध भी शुल्क लेता है। यह स्थायी रखरखाव या लेखा-विभाजन से सुरक्षा की गारंटी नहीं है।
5. मॉडल की इनपुट बचत और उत्पादन बिल अलग हैं
चित्र 9 GPT-6 Astra सहायता एजेंट को 8,000 tokens के प्रारंभिक प्रीफिक्स और छह चरणों में प्रत्येक 2,000 नए tokens के साथ मॉडल करता है। गाइड की ऑन-डिमांड दर धारणाओं पर संचयी इनपुट लागत बिना कैश $0.87, स्थिर सीमा $0.50 और चलती सीमाएँ $0.32 है। 64% इस मॉडल उदाहरण की कमी है, चित्र 4 या AISubHub द्वारा परखे गए परिनियोजन का परिणाम नहीं।
लेखन सामान्य इनपुट दर का 1.25 गुना है और पठन दर मॉडल पर निर्भर करती है। छोटे कार्य या बार-बार बदलते प्रीफिक्स लेखन और वार्म-अप की लागत नहीं निकाल पाएँगे। लेखक पठन बचत के साथ लेखन खर्च देखने को कहता है। इनपुट लागत के अनुपात में आउटपुट टोकन हटाएँ, लेकिन पूरे बिल में उन्हें अलग जोड़ें। उदाहरण की रकम वर्तमान मूल्य-प्रस्ताव या कुल खर्च घटने की गारंटी नहीं है।
6. सही एंडपॉइंट मापें और शासन-सीमाएँ बनाए रखें
प्रतिक्रिया usage में cached_tokens और cache_write_tokens हैं। Runtime के CloudWatch में CacheReadInputTokenCount और CacheWriteInputTokenCount भी हैं; invocation लॉग से अनुरोध-स्तर जाँच हो सकती है। गाइड के अनुसार Mantle के CloudWatch नेमस्पेस में अभी अलग कैश काउंटर नहीं हैं, इसलिए अनुप्रयोग प्रतिक्रिया usage दर्ज करे। Cost Explorer में Usage type से पठन, लेखन और बिना कैश इनपुट अलग किए जा सकते हैं।
लेखक टूल परिभाषाओं तथा सिस्टम प्रॉम्प्ट के लीक या दुरुपयोग की संभावना बताकर कैश को शासन में शामिल करता है। हमारा अर्थ है कि साझाकरण, अनुमतियों और निगरानी की अपनी समीक्षा जरूरी है; लेख किसी खास रिसाव या पूर्ण सुरक्षा का प्रमाण नहीं है। हमने लिंक किए पूरक दस्तावेज स्वतंत्र रूप से नहीं पढ़े और उदाहरण नहीं चलाए। वास्तविक मॉडल, एंडपॉइंट, क्षेत्र, लागत और विलंब अपने वातावरण में जाँचना बाकी है।
यह क्यों अहम है
उपयोगी डिजाइन में स्थिर साझा प्रीफिक्स, केवल जोड़कर बढ़ता इतिहास और सहायकों के बीच जानबूझकर तय साझाकरण अलग रहते हैं। बचत केवल कैश चालू करने से नहीं, सीमाएँ बनाए रखने और वास्तविक पठन-लेखन देखने पर निर्भर है।
सीमाएँ और उपलब्धता
पूरा आधिकारिक गाइड और जरूरी लागत चार्ट आधार हैं। AWS के कार्यभार परिणाम और मॉडल की लागत अलग तरह के साक्ष्य हैं। कोड, अतिरिक्त दस्तावेज, वर्तमान दरों या परिनियोजन की स्वतंत्र जाँच नहीं हुई।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।