विस्तृत विश्लेषण · लगभग 7 मिनट पढ़ना
Databricks ने कोडिंग लागत के लिए टोकन कीमत से पहले परखी गई टास्क और harness को रखा
22 अक्टूबर के Patrick Wendell साक्षात्कार में आंतरिक PR परीक्षण, Astra के विस्तार का खर्च और बचत के दावों की सीमाएँ सामने आती हैं।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Catherine Brown के 22 अक्टूबर के साक्षात्कार में Databricks के सह-संस्थापक Patrick Wendell ने अपने रिपॉज़िटरी पर कोडिंग टूल परखने और लगभग 3,500 इंजीनियरों तक Astra पहुँचाने का अनुभव बताया। विषय प्रति-टास्क लागत और टूल की संरचना है। यह कंपनी का संचालन संबंधी विवरण है, स्वतंत्र रूप से सत्यापित बेंचमार्क या Unity Gateway का नया लॉन्च नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- Wendell के अनुसार आंतरिक मूल्यांकन वास्तविक पुल रिक्वेस्ट और चलाए जा सकने वाले परीक्षणों पर आधारित है; LLM को निर्णायक नहीं बनाया जाता।
- GLM 5.2 ने कथित तौर पर Opus 4.8 जैसी गुणवत्ता लगभग एक-तिहाई कम प्रति-टास्क लागत पर दी: यानी तुलना की लागत का लगभग दो-तिहाई, न कि एक-तिहाई।
- एक ही मॉडल में अलग harness से लागत में 2× से अधिक अंतर बताया गया; Astra के व्यापक विस्तार में खर्च लगभग 60% बढ़ा।
उस काम से शुरुआत करें जिसे रिपॉज़िटरी जाँच सकता है
Wendell बताते हैं कि आंतरिक बेंचमार्क कंपनी के बड़े कोडबेस की वास्तविक पुल रिक्वेस्ट से बनाया जाता है और नतीजों को टेस्ट चलाकर आँका जाता है। LLM निर्णायक से बचने का कारण उनका यह विचार है कि वह सही बदलाव के बजाय विश्वसनीय लगने वाली व्याख्या को पुरस्कृत कर सकता है। सवाल अपने इंजीनियरिंग काम को पूरा करने का है, सार्वजनिक रैंकिंग को सीधे खरीद निर्णय बना देने का नहीं।
हमारा विश्लेषण है कि चलने योग्य जाँच तुलना को प्रासंगिक बनाती है, लेकिन केवल उन्हीं व्यवहारों के लिए जिन्हें वह जाँचती है। साक्षात्कार में नमूने का आकार, टास्क का मिश्रण या स्वतंत्र सत्यापन नहीं दिया गया। Wendell उसी टीम का कुल उत्पादन लगभग दोगुना होने की भी बात करते हैं, जिसे PR, जारी सुविधाओं और कोड की पंक्तियों से मापा गया। ये अपूर्ण संकेतक नियंत्रित कारणात्मक उत्पादकता लाभ साबित नहीं करते। मौजूदा टेस्ट पास करना केवल उनके जाँचे हुए दायरे को सिद्ध करता है; इससे दीर्घकालीन रखरखाव, कारोबारी मूल्य या बिना टेस्ट वाली जरूरतें अपने-आप नहीं मापी जातीं।
टोकन के बजाय एक टास्क का बिल तुलना में रखें
एक अनाम मॉडल का प्रति-टोकन मूल्य कथित तौर पर 1.7× सस्ता था, फिर भी अधिक टोकन इस्तेमाल करने के कारण प्रति-टास्क खर्च बढ़ा। उस कार्यभार में कम इकाई कीमत ज्यादा खपत की भरपाई नहीं कर सकी। हमारी व्याख्या है कि भुगतान वाले अनुरोधों को तुलना योग्य परिणाम से जोड़ना चाहिए। केवल मूल्य सूची से यह तय नहीं होता कि समान काम कौन-सा टूल कम खर्च में पूरा करेगा।
इसी आंतरिक तुलना में Wendell के अनुसार GLM 5.2 ने Opus 4.8 जितनी गुणवत्ता लगभग एक-तिहाई कम प्रति-टास्क लागत पर हासिल की। इसका अर्थ संदर्भ लागत का करीब दो-तिहाई है, लागत घटकर एक-तिहाई रह जाना नहीं। पूरा प्रोटोकॉल, गुणवत्ता की परिभाषा और टास्क विवरण के बिना इसे सार्वभौमिक मॉडल रैंकिंग, बाहरी तौर पर दोहराए जा सकने वाले परिणाम या मौजूदा सार्वजनिक कीमत नहीं माना जा सकता।
harness को भी तुलना की शर्तों में शामिल करें
harness मॉडल के आसपास कोडिंग टूल की नियंत्रण व्यवस्था है: वह संदर्भ कैसे देता है, टूल कैसे चलाता है और मॉडल के साथ बातचीत कैसे सँभालता है। Wendell एक ही मॉडल के साथ harness बदलने पर लागत में 2× से अधिक अंतर बताते हैं। अलग से वे अपने harness और कैश सेटिंग में सुधार को लगभग 50% बचत का श्रेय देते हैं। साक्षात्कार प्रत्येक सेटिंग का अलग योगदान स्थापित नहीं करता।
हमारे विश्लेषण में मॉडल और उसके आसपास का टूल एक साथ बदलने पर बचत का कारण समझना मुश्किल होता है। उपयोगी तुलना में टास्क की पहचान, गुणवत्ता की जाँच तथा जरूरी संदर्भ और कैश की स्थितियाँ बनी रहनी चाहिए, और harness का बदलाव दर्ज होना चाहिए। यह यहाँ सुझाया गया मूल्यांकन अनुशासन है, हमारे द्वारा किया प्रयोग या किसी एक टूल की हमेशा श्रेष्ठता का दावा नहीं। वरना मॉडल का दिखने वाला सुधार अलग नियंत्रण व्यवस्था का परिणाम हो सकता है, जिसे प्रकाशित आँकड़े अलग नहीं कर पाते।
Astra विस्तार को अलग-अलग काम के संदर्भ में पढ़ें
Databricks ने कथित तौर पर लगभग 3,500 इंजीनियरों तक Astra पहुँचाया। Wendell के अनुसार सिस्टम डिजाइन जैसे कठिन काम में वह साफ तौर पर बेहतर था, जबकि रोजमर्रा के काम में फायदा स्पष्ट नहीं था, क्योंकि पहले के मॉडल उन्हें पर्याप्त रूप से सँभाल रहे थे। खर्च लगभग 60% बढ़ा। कंपनी ने अधिक कठिन समस्याओं पर उपयोग केंद्रित करने के लिए Astra का अलग बजट बनाया।
इस विस्तार का कुल खर्च और पहले बताए प्रति-टास्क खर्च अलग हरों पर आधारित हैं। उपयोग या काम का मिश्रण बदलने पर कोई टास्क सस्ता हो सकता है और फिर भी कुल बिल बढ़ सकता है। साक्षात्कार नियंत्रित तुलना से इस विस्तार का शुद्ध मूल्य नहीं मापता। वह किसी खास GPT संस्करण, सभी को मिलने वाले सदस्यता अधिकार, कीमत या क्षेत्रीय शर्तों का अनुमान लगाने का आधार भी नहीं देता। इसलिए बड़ा कुल बिल अपने-आप न तो बर्बादी का सबूत है, न विस्तार के लाभकारी होने का; टास्क के फायदे और मूल्यांकन की शर्तें भी जरूरी हैं।
बचत के उपाय और उनकी आधाररेखा अलग रखें
Wendell डिफॉल्ट ट्रैफिक को सस्ते और पर्याप्त सक्षम मॉडल पर ले जाने को सबसे प्रभावी उपाय बताते हैं; अकेले इससे 50% या अधिक बचत का दावा है। वे कहते हैं कि Smart Router ने सबसे महँगे मॉडल के लगभग समान गुणवत्ता स्तर पर औसत प्रति-टास्क लागत 30% से अधिक घटाई। ये Databricks के संचालन के दावे हैं। जुड़े हुए राउटिंग शोध और बेंचमार्क दस्तावेज यहाँ नहीं पढ़े गए।
नियमित व्यक्तिगत खर्च विवरण और सुझावों का प्रभाव लगभग 10% बताया गया है; संयुक्त उपायों से कुछ मामलों में इकाई लागत 90% तक घटी। ये प्रतिशत एक-दूसरे पर चढ़ते हैं और उनकी तुलना की शर्तें पूरी तरह स्पष्ट नहीं हैं। इन्हें जोड़ना या अपने-आप गुणा करके ग्राहक की बचत बताना गलत होगा। हमारा निष्कर्ष है कि किसी सुधार का श्रेय देने से पहले हर बदलाव को एक समान स्थानीय आधाररेखा पर परखना चाहिए।
उपयोगी पहुँच बनाए रखें और प्रमाण की सीमा न लाँघें
साक्षात्कार क्रमिक बाधा बताता है: चेतावनी, फिर अनुमति और उसके बाद काम जारी रखते हुए सस्ते मॉडल पर जाना; पूरी तरह रोकना अंतिम उपाय है। Wendell कहते हैं कि अचानक सीमा लगाने से लोग निजी खाते इस्तेमाल कर सकते हैं और दृश्यता खत्म हो सकती है। उनके अनुसार Claude Code, Codex, Cursor और Omnigent का ट्रैफिक एक साझा gateway से गुजरता है; इसी आंतरिक जरूरत से Unity Gateway बना। यह संचालन की पृष्ठभूमि है, नया लॉन्च नहीं।
हमारा व्यावहारिक निष्कर्ष है कि मॉडल, harness और कार्यभार का साथ में मूल्यांकन करें और किसी शर्त के बदलने पर फैसला फिर जाँचें। प्रमाण अभी भी विक्रेता का एक साक्षात्कार है। पूरा प्राथमिक पाठ पढ़ा गया; उसमें प्रमाण देने वाले चार्ट या दृश्य-श्रव्य प्रदर्शन नहीं थे। जुड़े तकनीकी और उत्पाद पृष्ठ नहीं खोले गए, और हमने खाता या तैनाती नहीं आजमाई। उपलब्धता, व्यावसायिक शर्तें तथा सब पर लागू बचत अभी अप्रमाणित हैं।
यह क्यों अहम है
यह एक स्पष्ट मूल्यांकन इकाई देता है: अपने कोड पर जाँचा गया तुलना योग्य टास्क, जिसमें मॉडल और harness साथ दर्ज हों। इससे केवल टोकन कीमत पर टूल चुनने के बजाय स्थानीय लागत और परिणाम का संबंध जाँचा जा सकता है।
सीमाएँ और उपलब्धता
सभी नतीजे और प्रतिशत Wendell की स्वयं बताई जानकारी हैं। नमूने और पूरे प्रोटोकॉल उपलब्ध नहीं; एक-दूसरे पर चढ़ती बचत जोड़ी नहीं जा सकती। यह नए मॉडल या gateway का लॉन्च अथवा स्वतंत्र उत्पाद परीक्षण नहीं है।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।