विस्तृत विश्लेषण · लगभग 8 मिनट पढ़ना
IBM ALTK-Evolve: ग्राहक सेवा परीक्षणों में दिशानिर्देश-स्मृति क्या बदलती है
IBM Research ने स्थिर प्रॉम्प्ट नियमों से बार-बार चलाए गए परीक्षणों में बेहतर परिणाम बताए हैं; नियमों की संख्या, मूल्यांकन लागत और विश्वसनीयता का संतुलन हर क्षेत्र में अलग है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
20 अक्टूबर के अपने सामुदायिक लेख में IBM Research बताता है कि ALTK-Evolve, एजेंट के प्रशिक्षण प्रयासों को दोबारा उपयोग किए जा सकने वाले व्यवहारगत दिशानिर्देशों में बदलता है। ग्राहक सेवा अध्ययन जाँचता है कि प्रॉम्प्ट-स्तरीय स्मृति, अन्यथा अपरिवर्तित एजेंट को सफल परिणाम दोहराने में मदद करती है या नहीं। मुख्य नतीजों को पढ़ते समय अलग रखे गए परीक्षण, सहेजी गई रैंकिंग से तुलना और नकली ग्राहक वार्ताओं की लागत अलग करनी पड़ती है।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- मुख्य व्यवस्था में एजेंट और दिशानिर्देश निकालने के लिए GPT-4.1 तथा ग्राहकों का अनुकरण करने के लिए GPT-5.5 है। दिशानिर्देश मूल नीति के बाद जोड़े जाते हैं और अलग रखे कार्यों पर अपरिवर्तित रहते हैं; मॉडल के वेट अपडेट नहीं होते।
- प्रति कार्य चार प्रयासों में, सभी दिशानिर्देश जोड़ने पर खुदरा परीक्षण के Pass⁴ में 57.5% से 67.5% वृद्धि होती है। विमान सेवा में सबसे अच्छा Pass⁴ छोटे sup3 समूह से आता है: 45%, जबकि आधार 35% और पूरा समूह 40% है।
- बताई गई प्रति वार्ता लागत में पूर्ण आधार विभाजन पर एजेंट और ग्राहक सिम्युलेटर दोनों शामिल हैं। लेखक lossless के लिए खुदरा में 65% और विमान सेवा में 32% बढ़ोतरी बताते हैं; उत्पादन विलंबता या कैश बचत का मापा प्रमाण नहीं दिया गया।
1. स्मृति, मूल्यांकन से पहले सीखी गई नियमों की सूची है
प्रक्रिया प्रशिक्षण कार्यों के निष्पादन-इतिहास से शुरू होती है। GPT-4.1 सफलताओं और विफलताओं से छोटे व्यवहारगत दिशानिर्देश निकालता है, और एकीकृत सूची सिस्टम प्रॉम्प्ट में क्षेत्र की नीति के बाद रखी जाती है। एजेंट τ²-bench का मूल THINK → ACT ढाँचा, नीति और उपकरण बनाए रखता है। कार्य तभी सफल माना जाता है जब डेटाबेस की अंतिम स्थिति अपेक्षित परिणाम से मेल खाती है। बदलाव निर्णय के समय उपलब्ध निर्देशों में है; मॉडल वेट नहीं बदलते।
दिशानिर्देश पहचान जाँचने और रिकॉर्ड बदलने से पहले इच्छित बदलाव की पुष्टि करने जैसे कदम बताते हैं। AISubHub के एक काल्पनिक उदाहरण में, सामान-वापसी एजेंट रिफंड उपकरण बुलाने से पहले स्पष्ट अनुमति लेना याद रख सकता है। यह प्रक्रिया का स्मरण है, किसी असली ग्राहक का दावा या वास्तविक तैनाती का प्रमाण नहीं। IBM कहता है कि दिशानिर्देश निकालने के लिए मानव एनोटेशन नहीं चाहिए; फिर भी बेंचमार्क, नीतियाँ और प्रयोग की रचना मानव विकल्पों पर निर्भर हैं। अलग रखे गए मूल्यांकन के लिए सीखी सूची स्थिर रहती है, परीक्षण में हुई विफलताओं से फिर नहीं लिखी जाती।
2. बार-बार सफलता और औसत सफलता अलग सवालों का उत्तर हैं
अलग रखे गए हर कार्य पर चार प्रयास होते हैं: खुदरा के 40 और विमान सेवा के 20 कार्य। औसत सटीकता प्रयासों की सफलता का औसत है; Pass⁴ उन कार्यों को गिनता है जो चारों प्रयासों में सफल हों। यह pass@4 नहीं है, जिसमें कम-से-कम एक प्रयास सफल होना पर्याप्त है। किसी दिशानिर्देश का support उन अलग प्रशिक्षण कार्यों की संख्या है जिनसे वह नियम निकला। sup3 छन्ने के लिए कम-से-कम तीन का support चाहिए; इसमें खुदरा के 31 और विमान सेवा के 14 दिशानिर्देश बचते हैं। lossless सभी एकीकृत दिशानिर्देश रखता है, क्रमशः 292 और 101।
खुदरा में lossless औसत सटीकता को 78.1% से 82.5% और Pass⁴ को 57.5% से 67.5% करता है; बाद वाला विश्वसनीयता में 10 प्रतिशत अंकों का लाभ है। सब कुछ जोड़ने के विरुद्ध विमान सेवा का उदाहरण महत्वपूर्ण है: lossless की औसत सटीकता सबसे अधिक, 65% बनाम आधार 57.5%, है; लेकिन सबसे ऊँचा Pass⁴ sup3 का 45% है, जबकि आधार 35% और lossless 40% है। AISubHub की व्याख्या है कि नियम चुनते समय क्षेत्र-विशिष्ट विश्वसनीयता जाँच चाहिए; प्रमाण कोई सर्वश्रेष्ठ सार्वभौमिक स्मृति आकार नहीं बताता।
3. मॉडल की भूमिकाएँ और मूल्यांकन विभाजन स्पष्ट रखें
मुख्य एजेंट और दिशानिर्देश निकालने के लिए GPT-4.1 है, लेकिन ग्राहक सिम्युलेटर GPT-5.5 है। इसलिए पूरी प्रक्रिया में एक अग्रणी मॉडल शामिल है। विमान सेवा का अलग प्रयोग 20 अलग रखे कार्यों पर एजेंट और दिशानिर्देश निकालने के लिए GPT-5.5 उपयोग करता है। किसी निकले नियम का support तीन तक नहीं पहुँचता, इसलिए संक्षिप्त रूप sup2 है, जिसमें 103 दिशानिर्देश हैं; lossless में 146 हैं। दोनों का Pass⁴ 70% है, आधार 55% के मुकाबले। lossless की औसत सटीकता 82.5% है, जबकि आधार 72.5%; इससे इस व्यवस्था में पुराने एजेंट से आगे भी लाभ का समर्थन मिलता है।
रैंकिंग तुलना पूर्ण आधार विभाजन उपयोग करती है, जिसमें प्रशिक्षण कार्य भी हैं, और 12 अक्टूबर 2026 की सहेजी स्थिति से तुलना करती है। खुदरा में GPT-4.1 और lossless का Pass⁴ 67.5% है, RAFT-30B-A3B के 61.4% के मुकाबले, यानी 6.1 अंकों का अंतर। विमान सेवा के पूर्ण आधार पर GPT-4.1 और sup3 का स्कोर 44%, तथा GPT-5.5 और lossless का 82% है। ये उस सहेजी स्थिति में विन्यस्त एजेंट प्रणालियों की तुलनाएँ हैं। इससे GPT-4.1 की सामान्य मॉडल रैंकिंग स्थापित नहीं होती, और पूर्ण आधार के आँकड़े अलग रखे कार्यों पर हस्तांतरण के प्रमाण की जगह नहीं लेते।
4. प्रॉम्प्ट में अधिक सामग्री की मूल्यांकन लागत मापी जा सकती है
लागत अध्ययन पूर्ण आधार विभाजन पर है: खुदरा के 114 और विमान सेवा के 50 कार्य, चार-चार प्रयास। प्रति वार्ता USD राशि में एजेंट और ग्राहक सिम्युलेटर का LLM उपयोग दोनों जुड़ते हैं। खुदरा में आधार, sup3 और lossless की लागत $0.084, $0.095 और $0.139 है; विमान सेवा में $0.081, $0.097 और $0.107। लेखक lossless के लिए 65% और 32% बढ़ोतरी बताते हैं। ये मूल्यांकन का लागत-लेखा है, केवल एजेंट का शुल्क, मॉडल टोकन की दर या उत्पादन बजट नहीं।
अलग रखे परीक्षण विभाजन में वार्ता की लंबाई केवल समान परिदृश्य और सीड वाले उन जोड़े गए निष्पादनों पर तुलना की जाती है जो दोनों व्यवस्थाओं में सफल हों। lossless के खुदरा उपसमूह में 111 निष्पादन हैं और सहायक की बारी की संख्या 10.59 से 10.16 होती है; विमान सेवा में 40 हैं और 9.15 से 8.82 होती है। इससे तुलना नियंत्रित होती है, लेकिन बाकी परिणाम बाहर रह जाते हैं। यह हर कार्य में छोटी वार्ता या वास्तविक बीते समय में मापा सुधार सिद्ध नहीं करता। लेखकों का सुझाव कि प्रॉम्प्ट कैशिंग अतिरिक्त खर्च का बड़ा भाग वापस बचा सकती है, उत्पादन के बारे में अनुमान है; यहाँ कैश प्रयोग नहीं है।
5. परिणाम को स्थानीय मूल्यांकन योग्य डिजाइन मानें
AISubHub का विश्लेषण है कि अध्ययन एक ठोस डिजाइन को जाँचने योग्य बनाता है: अनुमति-प्राप्त प्रशिक्षण इतिहास से प्रक्रिया-स्मरण निकालें, उन्हें स्थिर करें और अलग कार्यों पर औसत पूर्णता तथा दोहराई गई सफलता दोनों मापें। छोटे नियम-समूह और विस्तृत समूह की तुलना करें, और प्रॉम्प्ट आकार तथा कुल परिचालन लागत दर्ज करें। स्थानीय मूल्यांकन में विफलताएँ भी देखें: एक नियम सामान्य कार्यप्रवाह में मदद कर सकता है, लेकिन कम आने वाली नीति की शर्त से ध्यान भटका सकता है। यह मूल्यांकन प्रस्ताव है, दोहराया गया परिणाम नहीं।
छोटे अलग रखे सेट और चार प्रयास अनिश्चितता छोड़ते हैं; लेख विश्वास अंतराल नहीं देता। IBM परीक्षण सेट के रिसाव न होने का दावा करता है, जिसका AISubHub ने स्वतंत्र ऑडिट नहीं किया। हमने पूरा लेख और उसकी तीनों आकृतियाँ पढ़ीं, लेकिन लिंक किए रिपॉज़िटरी या जमा किए PR नहीं जाँचे, प्रणाली नहीं चलाई और परिणाम स्वतंत्र रूप से नहीं दोहराए। प्रमाण ग्राहक सेवा एजेंट की स्मृति तक सीमित है; इससे सभी क्षेत्रों में सामान्य सुधार या उत्पादन परिणामों की गारंटी नहीं मिलती।
यह क्यों अहम है
AISubHub का विश्लेषण: टीमें प्रक्रिया-स्मृति को एजेंट प्रणाली के स्पष्ट घटक की तरह जाँच सकती हैं, और नियमों की व्यापकता, बार-बार सफलता की विश्वसनीयता तथा कुल लागत में चयन कर सकती हैं। विमान सेवा का विपरीत उदाहरण छोटे और पूरे स्मृति-समूह की तुलना को उचित बनाता है; अधिक नियम हमेशा मदद करेंगे, यह मानना ठीक नहीं।
सीमाएँ और उपलब्धता
प्रदर्शन और लागत के सभी आँकड़े IBM Research के बताए परिणाम हैं। अलग रखे परीक्षण, पूर्ण आधार पर रैंकिंग तुलना और दोनों व्यवस्थाओं में सफल जोड़े गए निष्पादनों के विश्लेषण के हर अलग हैं। सहेजी रैंकिंग 12 अक्टूबर 2026 की है; वर्तमान रैंक, स्वतंत्र पुनरुत्पादन, कैश बचत या मापी गई विलंबता कमी का दावा नहीं है।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।