विस्तृत विश्लेषण · लगभग 5 मिनट पढ़ना
Elastic का Jina GPU बदलाव: 8× गति का आंकड़ा वास्तव में क्या मापता है
एम्बेडिंग, रीरैंकिंग और OCR के अलग परीक्षण पढ़ें; पुराने GPU का L40/L4 नाम अभी असंगत है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Elastic के 21 अक्टूबर के तकनीकी लेख में Jina API और Elastic Inference Service को NVIDIA RTX Pro 6000 Blackwell Server Edition पर चरणबद्ध ले जाने का विवरण है। प्रमाण छोटे मॉडलों की कतार और धीमे अनुरोधों की देरी का है; हर अनुरोध या पूरे एजेंट के आठ गुना तेज होने का नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- Elastic के अनुसार एम्बेडिंग p99 देरी 5.86 से 0.73 सेकंड हुई; उत्पादन रीरैंकिंग p90 732 से 171 मिलीसेकंड हुई, जबकि औसत अनुरोध मात्रा लगभग 40% अधिक थी।
- लेख का मुख्य पाठ पुराने GPU को L40 और परिणाम तालिका L4 कहती है। OCR, मिश्रित ट्रैफिक और नियंत्रित रीरैंकिंग में माप तथा तुलना की शर्तें अलग हैं।
खोज एजेंट कई चरणों की पाइपलाइन है
खोज-आधारित एजेंट दस्तावेज को पाठ में बदल सकता है, एम्बेडिंग बना सकता है, उम्मीदवार खोज और रीरैंक कर सकता है, फिर उत्तर लिखता है। हर चरण की इनपुट बनावट और देरी सीमा अलग होती है। Elastic, Jina Reader, OCR, एम्बेडिंग और रीरैंकिंग को सीधी Jina API या Elasticsearch से जुड़े Elastic Inference Service के माध्यम से देता है। कम पैरामीटर संसाधन प्रतिस्पर्धा समाप्त नहीं करते: लंबी दस्तावेज सूची साझा GPU को व्यस्त रख सकती है और छोटा प्रश्न पीछे इंतजार करता है। हमारा निष्कर्ष है कि बदलाव गणना की गति के साथ सेवा की कतार को भी लक्ष्य करता है। इससे उत्तर की शुद्धता या सामान्य मॉडल रैंकिंग सुधरना सिद्ध नहीं होता।
आठ गुना आंकड़ा धीमी एम्बेडिंग का है
उत्पादन ट्रैफिक की बदलाव से पहले और बाद की तुलना में एम्बेडिंग का 99वाँ प्रतिशतक 5.86 तथा 0.73 सेकंड बताया गया, लगभग 8×। p99 वह सीमा है जिसके पहले देखे गए 99% अनुरोध पूरे होते हैं; यह औसत नहीं और हर अनुरोध का समान त्वरण नहीं। यह परिचालन प्रमाण उपयोगी है, लेकिन इनपुट लंबाई, बैचिंग और ट्रैफिक संरचना भी नियंत्रित न हों तो परिणाम बदल सकते हैं। हमारा सुझाव है कि लक्ष्य बनाने से पहले एम्बेडिंग मॉडल, इनपुट वितरण, समवर्ती अनुरोध और अवलोकन अवधि पूछें। लेख सभी परिनियोजन स्थितियों के लिए इन कारकों को अलग नहीं करता।
रीरैंकिंग के तीन परीक्षण अलग प्रश्न हैं
उत्पादन रीरैंकिंग p90 732 से 171 मिलीसेकंड हुई, 4.3×, और औसत मात्रा लगभग 40% अधिक थी। समान सॉफ्टवेयर वाला अलग नियंत्रित परीक्षण बड़े काम को तीन L4 पर 702 तथा एक नए GPU पर 160 मिलीसेकंड में करता है: 4.4×। मिश्रित ट्रैफिक में बड़े काम के साथ छोटे अनुरोध 708 से 66 मिलीसेकंड हुए, 10.7×। ये तीन परिस्थितियाँ हैं, किसी सार्वभौम गुणक के तीन प्रमाण नहीं। आखिरी प्रयोग संवादात्मक खोज की कतार के लिए विशेष उपयोगी है, लेकिन पर्याप्त कार्यभार वितरण न होने से दूसरी सेवा में वही लाभ सुनिश्चित नहीं होता।
OCR की शुरुआत और क्षमता अलग माप हैं
वास्तविक दस्तावेज पृष्ठों के समान समूह पर jina-ocr-v1 का पहले आउटपुट टोकन तक समय 0.50 से 0.20 सेकंड, यानी 2.5× हुआ। रूपांतरण 454 से 1671 पृष्ठ प्रति घंटा, लगभग 3.7× हुआ। पहला टोकन केवल उत्तर शुरू करता है, पूरा पृष्ठ तैयार होने का संकेत नहीं। प्रति घंटे पृष्ठ परीक्षण सामग्री की सतत क्षमता बताते हैं। संवादात्मक पूर्वावलोकन को जल्दी शुरुआत चाहिए, जबकि बैच के लिए पूरा होने का समय और स्वीकार्य निष्कर्षण गुणवत्ता भी जरूरी हैं। दोनों माप बदले नहीं जा सकते। स्वतंत्र गुणवत्ता तुलना के बिना तेज OCR को अधिक सही निष्कर्षण मानना उचित नहीं।
उपलब्धता और हार्डवेयर नाम अलग जाँचें
Elastic कहता है कुछ Jina API मॉडल पहले ही नए GPU पर चलते हैं और उनके ग्राहक एकीकरण बदले बिना सुधार पाते हैं। बाकी मॉडल और Elastic Inference Service अभी बदले जा रहे हैं; सभी एंडपॉइंट के एक दिन पूर्ण होने का वादा नहीं है। परिचय पुराने हार्डवेयर को NVIDIA L40 कहता है, लेकिन तालिका NVIDIA L4 Tensor Core GPU लिखती है। हम स्रोत की एक बात चुपचाप चुनने के बजाय अंतर सुरक्षित रखते हैं। अलग परीक्षणों के आंकड़े अपनी शर्तों में बताए जा सकते हैं, फिर भी खरीद और लागत तुलना के लिए यह विसंगति महत्वपूर्ण है।
अपने कार्यभार की स्वीकृति परीक्षा बनाएं
हमारी प्रस्तावित जाँच प्रतिनिधि दस्तावेज और प्रश्न आकार स्थिर रखती है, फिर एम्बेडिंग, रीरैंकिंग, OCR और अंतिम उत्तर का समय अलग मापती है। p50, p90, p99, अनुरोध आगमन, साथ चलने वाले बड़े काम, त्रुटियाँ और स्वीकार्य गुणवत्ता दर्ज करें। पूरी बिल राशि भी तुलना करें: तेज GPU अपने-आप प्रति सफल काम को सस्ता सिद्ध नहीं करता। होस्टेड एंडपॉइंट पर वास्तव में बदला मॉडल पूछें और शांत तथा व्यस्त समय में माप दोहराएं। यह हमारी सलाह है, इस लेख के लिए किया परीक्षण नहीं। फैसला अपने कार्यभार और देरी बजट पर होना चाहिए, शीर्षक के सबसे बड़े गुणक पर नहीं।
यह क्यों अहम है
हमारा विश्लेषण: खोज में लंबा इंतजार घटाने से उत्तर मॉडल बदले बिना एजेंट का अनुभव सुधर सकता है। उत्पाद का वादा करने से पहले कार्यभार, पूरी देरी और लागत की जाँच जरूरी है।
सीमाएँ और उपलब्धता
ये Elastic के बताए परिणाम हैं, हमारे स्वतंत्र परीक्षण नहीं। आधार GPU का नाम असंगत है, बदलाव जारी है और पुनरुत्पादित की जा सकने वाली कुल लागत तुलना या सार्वभौम गारंटी नहीं दी गई।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।