विस्तृत विश्लेषण · लगभग 6 मिनट पढ़ना
Databricks ने एजेंटों के घोषणात्मक Spark पाइपलाइन परखे: पहले जाँच, अधिक टोकन
528 बिल्ड की तुलना सस्ती संरचनात्मक जाँच को तार्किक शुद्धता से अलग करती है; कंप्यूट का ग्राफ केवल 44 बिल्ड पर आधारित है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Databricks ने 23 अक्टूबर को एजेंट द्वारा लिखे प्रक्रियात्मक PySpark और Spark Declarative Pipelines (SDP) की तुलना प्रकाशित की। Lisa Cao और Sudhanva Huruli के अनुसार घोषणात्मक योजना निष्पादन से पहले संरचनात्मक गलतियाँ रोक सकती है, लेकिन मॉडल के अधिक टोकन लेती है। नतीजे एक इंजीनियरिंग समझौता दिखाते हैं, हर पाइपलाइन के सही या सस्ते होने की गारंटी नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- प्रयोग में 22 कार्य और हर कार्य के 12 डेटासेट थे: प्रति तरीके 264 बिल्ड, कुल 528, सभी में Opus 4.8।
- कंप्यूट ग्राफ 44 मापे गए बिल्ड दिखाता है: 596 बनाम 17 executor-seconds। ये पूरे 528 बिल्ड या शुरू से अंत तक की विलंबता के आँकड़े नहीं हैं।
- घोषणात्मक बिल्ड ने लगभग 2.3 गुना मॉडल टोकन लिए; चुपचाप गलत उत्तर देने वाले मामले बने रहे—85/264 बनाम प्रक्रियात्मक के 73/264।
1. कुल 528 बिल्ड वास्तव में क्या मापते हैं
हर कार्य डेटा इंजीनियरिंग टिकट जैसा था, जिसमें लक्ष्य तालिका, स्तंभों के नाम और प्रकार दिए गए थे। 22 कार्यों में से प्रत्येक के लिए गड़बड़ मानों वाले 12 डेटासेट मिले और एजेंट ने दोनों कार्यान्वयन बनाए। स्वचालित मूल्यांकनकर्ता ने तरीका जाने बिना आउटपुट जाँचे। ये 22 तरह के कार्यों पर दोहराए गए बिल्ड हैं, 528 स्वतंत्र उत्पादन वर्कलोड नहीं।
प्रक्रियात्मक बिल्ड में 255/264 और SDP में 258/264 पूरे हुए। पूरा होना केवल बिल्ड समाप्त होने का संकेत है; उत्तर सही होने का प्रमाण नहीं। घोषणात्मक dry run विफल होने पर एजेंट एक तय सीमा तक सुधार और पुनः प्रयास कर सकता था। मुख्य लेख उस सीमा या मूल्यांकन की हर सेटिंग को नहीं बताता।
2. संरचनात्मक जाँच को निष्पादन से पहले लाना
प्रक्रियात्मक कोड पढ़ना, परिवर्तन, लिखना और उनका क्रम तय करता है। SDP वांछित डेटासेट और क्वेरी बताता है, जबकि निर्भरता, निष्पादन क्रम और स्थायी संग्रह की योजना Spark बनाता है। उसका dry run असली काम से पहले स्कीमा के विरुद्ध स्तंभ नाम सुलझा सकता है, डेटासेट बनाने वाले खोज सकता है और निर्भरता ग्राफ जाँच सकता है। इसलिए गलत लिखा स्तंभ महँगे डेटा प्रसंस्करण के बिना अस्वीकृत हो सकता है।
इस तुलना में घोषणात्मक जाँच ने किसी आउटपुट से पहले 55/264 बिल्ड रोके, जबकि प्रक्रियात्मक तरीके में इस चरण पर संख्या शून्य थी। यह परीक्षित सेटअप का परिणाम है, इसका प्रमाण नहीं कि प्रक्रियात्मक कोड की स्थिर जाँच असंभव है। सफल dry run भी औपचारिक प्रमाण नहीं: संरचना सही होने पर भी क्वेरी गलत व्यावसायिक तर्क लागू कर सकती है।
3. कंप्यूट का परिणाम छोटे उपसमूह का है
पहला ग्राफ स्पष्ट रूप से ‘44 मापे गए बिल्ड’ कहता है। इसमें प्रक्रियात्मक के 596 और घोषणात्मक के 17 executor-seconds हैं; लेखक पहले तरीके के लिए लगभग 34 गुना अधिक क्लस्टर समय बताते हैं। इस उपसमूह को पूरे 528-बिल्ड प्रयोग से अलग रखना चाहिए। executor-seconds निष्पादन संसाधन मापते हैं, उपयोगकर्ता को महसूस होने वाली वास्तविक बीती अवधि या पूरा उत्पादन बिल नहीं।
तुलना तालिका अलग से लगभग 521 executor-seconds का विफल प्रक्रियात्मक रन और लगभग 0.5 executor-second का अस्वीकृत घोषणात्मक रन देती है। ये अलग चरणों पर संरचनात्मक गलती मिलने की लागत के उदाहरण हैं, सामान्य रन के औसत नहीं। लेख हर डेटासेट, क्लस्टर विन्यास या उत्पादन पैमाने पर वही लाभ सिद्ध नहीं करता।
4. कम कोड से शुद्धता तय नहीं होती
पूरे हुए बिल्ड में कोड की पंक्तियों का माध्यिका मान प्रक्रियात्मक के लिए 131 और SDP के लिए 64 था, लगभग 51% कम; अमूर्त सिंटैक्स ट्री लगभग 44% छोटे बताए गए। दूसरा ग्राफ हर तरीके के बीच के आधे बिल्ड और माध्यिका दिखाता है। उसके अंतराल पूरे वितरण या विश्वास अंतराल नहीं हैं। छोटा कोड समीक्षा प्रयास में उतनी ही कमी का माप नहीं है।
उन्नीस प्रक्रियात्मक बिल्ड ने डेटा मेमोरी में लाकर पंक्ति-दर-पंक्ति संसाधित किया; किसी SDP बिल्ड ने यह शॉर्टकट नहीं लिया। ऐसे कार्यान्वयन छोटे परीक्षण डेटा पर पास होकर बड़े पैमाने पर नाज़ुक हो सकते हैं। यह अंतर निष्पादन पैटर्न जाँचने का आधार है, हर घोषणात्मक पाइपलाइन के सुरक्षित विस्तार या सही तर्क की गारंटी नहीं।
5. अधिक टोकन के साथ मौन गलतियाँ भी रहीं
लेखक घोषणात्मक बिल्ड में लगभग 2.3 गुना मॉडल टोकन बताते हैं। अलग माप के रूप में, बताई गई Opus 4.8 सूची दरों पर प्रति बिल्ड टोकन शुल्क की माध्यिका लगभग $0.50 थी, जबकि प्रक्रियात्मक में $0.26। टोकन अनुपात और धनराशि की माध्यिकाएँ अलग मेट्रिक हैं। स्रोत $ चिह्न इस्तेमाल करता है, लेकिन ISO मुद्रा स्पष्ट नहीं करता। ये रिपोर्ट किए गए प्रयोग-खर्च हैं, वर्तमान API दरों का सत्यापित उद्धरण नहीं।
पूरा चलने के बावजूद गलत उत्तर देने वाली मौन गलतियाँ प्रक्रियात्मक में 73/264 (27.7%) और घोषणात्मक में 85/264 (32.2%) थीं। लेखक अंतर को वास्तविक भिन्नता स्थापित करने के लिए अपर्याप्त मानते हैं। AISubHub ने स्वतंत्र रूप से सांख्यिकीय सार्थकता या समतुल्यता नहीं जाँची। dry run यह वर्ग खत्म नहीं करता: आउटपुट परीक्षण और समीक्षा आवश्यक हैं। इन गणनाओं को अन्य श्रेणियों से परस्पर अलग मानकर जोड़ना भी उचित नहीं।
6. आर्किटेक्चर का तर्क कहाँ लागू होता है
लेखक विश्वसनीय जाँच और निष्पादन Spark में रखते हैं, जबकि एजेंट वांछित पाइपलाइन का विवरण देता है। उनका तर्क है कि अधिक निर्माण टोकन बार-बार व्यर्थ क्लस्टर रन की जगह ले सकते हैं, जिनकी लागत डेटा और रन की आवृत्ति के साथ बढ़ती है। लेख पूरी कुल-लागत गणना नहीं देता। SQL, कोड के रूप में अवसंरचना और स्कीमा-प्रथम API से समानताएँ तर्क हैं, अतिरिक्त बेंचमार्क परिणाम नहीं।
AISubHub का विश्लेषण है कि स्पष्ट और सस्ते में जाँचा जा सकने वाला विनिर्देश पाइपलाइन बनाने तथा महँगे निष्पादन की अनुमति देने के बीच की सीमा को कस सकता है। टीमों को फिर भी प्रतिनिधि आउटपुट परीक्षण, पैमाने की जाँच और अपने वर्कलोड की लागत गणना चाहिए। स्रोत इस सीमा को परखने का आधार देता है; सार्वभौमिक बचत, अनुमति-सुरक्षा, तार्किक शुद्धता या स्वतः उत्पादन-तैयारी सिद्ध नहीं करता।
यह क्यों अहम है
उपयोगी अंतर यह है कि प्लेटफ़ॉर्म महँगे निष्पादन मार्ग से पहले कौन-सी विफलताएँ रोक सकता है। छोटा घोषणात्मक विनिर्देश इसमें मदद कर सकता है, लेकिन अधिक निर्माण टोकन लेता है। लाभ वास्तविक वर्कलोड और बिलिंग पर निर्भर है, केवल शीर्षक के गुणक पर नहीं।
सीमाएँ और उपलब्धता
AISubHub ने पूरा मुख्य लेख, दोनों पाठ तालिकाएँ और दोनों आवश्यक ग्राफ पढ़े। जुड़े रिपॉज़िटरी, प्रोग्रामिंग गाइड, skill और वीडियो की समीक्षा नहीं हुई। हमने कोड ऑडिट, प्रयोग का पुनः निष्पादन या क्लस्टर बिलों का मापन नहीं किया; सभी प्रायोगिक परिणाम Databricks के बताए हुए हैं।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।