विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
Qoder CLI पर Qwen के पाँच काम: एक अंक से सभी एजेंट की रैंक क्यों नहीं बनती
15 अक्टूबर की तुलना इंजीनियरिंग समझौते दिखाती है, पर हर मॉडल-कार्य की केवल एक generation हुई।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
Alibaba Cloud ने 15 अक्टूबर Qoder CLI पर Qwen3.8-Max, Claude Opus 4.8, GPT-5.6 Sol और Claude Fable 5 की तुलना की। रिपोर्ट स्वायत्त काम, परिणाम और मूल्यांकन scripts बताती है, लेकिन निष्कर्ष मॉडल+harness के एकल कार्य रन तक सीमित है, सार्वभौमिक ranking नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- कामों में procedural 3D scroll, Rust KV server, चार frontend prompts, frozen OpenAlex analysis और 92-second animation हैं। बाहरी मॉडल experimental setup में थे, अपने shipping उत्पादों में नहीं।
- सभी ने कथित रूप से 27 निजी KV correctness tests पास किए। शीर्ष तीन के छोटे throughput अंतर रन variation से कम थे; performance पाँच बार मापना agent generation पाँच बार नहीं है।
समान harness निष्कर्ष को सीमित भी करता है
चारों को वही Qoder CLI tools, environment और feedback मिला; एक prompt, आगे मानवीय निर्देश नहीं, कभी घंटों काम। इससे एक variable नियंत्रित है लेकिन मॉडल+harness मापा जाता है। बाहरी मॉडल experimental हैं, सामान्य ऐप नहीं। लेखक prompts, data, deliverables और scripts सार्वजनिक बताता है; हमने लिंक नहीं जाँचे। एक generation परिणामों का वितरण नहीं बताती।
3D scroll में metric और रूप अलग
छह अध्याय और24 camera positions procedural solid geometry से चाहिए, मूल पेंटिंग का backdrop नहीं। सभी ने वास्तविक3D बनाया बताया गया। Qwen 63/100, Fable 73; Qwen 263 मिनट और लगभग378 screenshots। अपना renderer कुशल लेकिन दृश्य कम भरा था। grain बदलने से similarity बढ़ी और मानव को तस्वीर बदतर लगी, लेखक के अनुसार। AISubHub विश्लेषण: लक्ष्य गलत विशेषता पुरस्कृत कर सकता है; यह हर metric या Qwen आउटपुट का नियम नहीं।
KV की शुद्धता, throughput, latency अलग
सभी ने27 निजी tests पास किए। Qwen read11.8M, write12.2M, mixed10.2M operations/s बताता है; responses batching ने अंतर बनाया। पर शीर्ष तीन का0.5–9% अंतर अधिकतम±55% run variation से कम और statistically significant नहीं। हर performance बिंदु पाँच माप का median है, server चार cores/3GB, अलग load generator आठ cores। यह तैयार code का पुनर्माप है, agent की पाँच generation नहीं। कम-load latency और overload stability के विजेता भी अलग हैं।
चार frontend prompts में कई गुण
Weather card, coffee page, planet और music visual में hierarchy, controls, illustration और completeness अलग हैं। Weather card में केवल Opus को zero critical axe issues मिले, पर तापमान नहीं था। Accessibility pass सामग्री पूर्ण होने का प्रमाण नहीं। दूसरे उदाहरण भरे दृश्य, controls और restrained layout का अंतर हैं। हमने विवरण पढ़े, हर artifact या video नहीं देखा। AISubHub विश्लेषण: content, accessibility और interaction अलग जाँचें; सुंदर screenshot कमी छिपा सकता है।
OpenAlex में sample को विश्व न मानें
Frozen2020–2025 data में दस देशों के60 country-year units,1,198 sampled papers,17 CC BY papers के290 PDF pages हैं। रिपोर्ट Qwen 100/Fable 94/Opus 89/GPT 87 और Qwen के44 checks पास बताती है। पृष्ठ-स्तरीय प्रमाण और aggregate/sample अंतर महत्वपूर्ण हैं; sample frequencies global share नहीं, correlation cause नहीं। AISubHub विश्लेषण: ये उपयोगी मानदंड हैं, सार्वभौमिक वैज्ञानिक intelligence score नहीं। मूल tables/pages से प्रमाण फिर जाँचें।
एक अंक से अधिक offline delivery
92-second animation में Fable 90, Qwen 89। रिपोर्ट Fable के दृश्य बेहतर बताती है, लेकिन engine नेटवर्क से आता है; Qwen bundled engine से offline चलता है। सौंदर्य और delivery अलग हैं। रन खत्म हो सकता है जबकि शर्तें बची हों; scroll में एक प्रतिद्वंद्वी ने unfinished रिपोर्ट दी। AISubHub विश्लेषण: सही versions, environment और acceptance से संबंधित काम दोहराकर चुनें। एकल cases वर्तमान global model order नहीं हैं।
यह क्यों अहम है
AISubHub विश्लेषण: शुद्धता, latency, throughput, दृश्य, प्रमाण और offline delivery अलग करें। रन खत्म होना सभी आवश्यकताएँ पूरी होना नहीं।
सीमाएँ और उपलब्धता
पूरी रिपोर्ट पढ़ी, repository, raw artifacts या वीडियो नहीं; परीक्षण दोहराए नहीं। अंक, समय और दृश्य निर्णय विक्रेता के हैं। ये संस्करण और harness सभी वर्तमान मॉडल या उत्पादों की ranking नहीं हैं।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।