विस्तृत विश्लेषण · लगभग 4 मिनट पढ़ना
Apple ने बताया: MLX और RDMA से कई Mac पर बड़ा मॉडल कैसे चलता है
15 अक्टूबर का इंजीनियरिंग लेख क्षमता, प्रीफिल और डिकोडिंग अलग करता है; चार Mac का परिणाम सार्वभौमिक गति या बिजली का दावा नहीं।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
Apple एकीकृत मेमोरी और Thunderbolt RDMA से Mac Studio के बीच अनुमान बांटता है। प्रमुख उदाहरण Muse Spark Open चार M5 Ultra और 8,192-टोकन संदर्भ में 36.73 टोकन प्रति सेकंड देता है। यह खास स्थानीय बेंचमार्क है, उदाहरण मॉडलों का नया विमोचन, क्लाउड सदस्यता या हर एजेंट कार्य की गारंटी नहीं।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- Muse के कुल 816B और सक्रिय 42B पैरामीटर हैं। NVFP4 से लगभग 493GB लगता है, लेकिन मध्यवर्ती गणना के कारण वह एक 512GB मशीन में नहीं समाता।
- पाइपलाइन गहराई में परतें बांटता है; टेंसर समानांतरता हर परत को चौड़ाई में बांटती और बार-बार कम-विलंब संचार मांगती है।
- अधिकतम 4.6× TTFT सुधार Qwen और Mistral के एकल M5 बनाम M3 का है, Muse के असंभव एकल-Mac आधार का नहीं।
क्षमता और गति अलग सवाल हैं
Apple mlx_lm.benchmark में बैच एक रखकर 8,192 या 65,536 संदर्भ टोकन के बाद 128 टोकन बनाता है। पहले टोकन का समय, डिकोडिंग दर और उच्चतम शक्ति अलग माप हैं। Muse का मूल्यांकन NVFP4, Mistral Medium 3.5 का FP8 और Qwen 3.8 का BF16 में है। मिश्रित-विशेषज्ञ मॉडल में कम सक्रिय पैरामीटर गणना घटाते हैं, केवल सक्रिय भार लोड करने की अनुमति नहीं देते। Muse के BF16 भार ही 1.6TB से अधिक होंगे; लगभग 493GB क्वांटाइज़्ड भार और मध्यवर्ती मान भी 512GB में नहीं समाते। वितरण पहले क्षमता हल करता है, आउटपुट स्वतः तेज नहीं करता।
दो प्रकार के विभाजन का फर्क
दो-Mac पाइपलाइन में शुरुआती परतें एक मशीन पर और बाद की दूसरी पर रहती हैं। डिकोडिंग मुख्यतः क्रमिक है, इसलिए समाने वाले मॉडल की गति एक मशीन जैसी रहती है। लंबे संदर्भ का प्रीफिल चरणों में खंडों को ओवरलैप कर सकता है। टेंसर तरीका हर परत का हिस्सा साथ गणना करता है, पर बहुत छोटे संचार बढ़ाता है। व्यवस्था macOS 26.2 के Thunderbolt 5 RDMA, MLX 0.30.1 या बाद के jaccl तथा हर लिंक पर दो केबल का उपयोग करती है। तेज CPU–GPU सिंक का उदाहरण-फ्लैग प्रयोगात्मक है, सार्वभौमिक डिफॉल्ट नहीं।
सही आधार के साथ आंकड़े पढ़ें
दिखती 8,192-टोकन तालिका में Muse दो-मशीन पाइपलाइन पर 15.74, दो-मशीन टेंसर पर 24.99 और चार पर 36.73 टोकन/सेकंड देता है। यह एक मशीन की तुलना नहीं है। अधिकतम 4.6× TTFT और लगभग 1.6× डिकोडिंग सुधार Qwen और Mistral के एकल M5 बनाम M3 का है। 65,536 संदर्भ पर विशेषज्ञ-आउटपुट सामान्यीकरण का संचार Muse के दो-मशीन टेंसर प्रीफिल को पाइपलाइन से धीमा करता है; चार मशीनें संतुलन सुधारती हैं। अन्य चार-मशीन लंबे-संदर्भ परीक्षण में दो केबल से TTFT लगभग 50.5 से 40.6 सेकंड हुआ। संदर्भ और नेटवर्क संरचना को आंकड़ों से अलग नहीं कर सकते।
स्थानीय एजेंट का पूरे तंत्र पर मूल्यांकन चाहिए
लॉन्च और सर्वर उदाहरण MLX को एजेंटिक कोडिंग क्लाइंट से जोड़ते हैं। वे हर टूल-प्रवाह, समवर्ती लोड या उत्तर-गुणवत्ता का परीक्षण नहीं हैं। M3 का लगभग 200W और M5 का 300W शिखर एकल मशीन का है, चारों का कुल नहीं। हमारा विश्लेषण मेमोरी में समाने, प्रॉम्प्ट संसाधित करने, आउटपुट और नेटवर्क को अलग देखता है। संचार हावी हो तो अधिक मशीनें मॉडल चलवा सकती हैं, पर आनुपातिक गति नहीं देतीं। हार्डवेयर लागत, पूरे तंत्र की ऊर्जा और समवर्ती विश्वसनीयता भी अलग सवाल हैं।
यह क्यों अहम है
उपयोगी प्रगति एक मशीन की मेमोरी सीमा से वितरित स्थानीय अनुमान तक प्रलेखित रास्ता और क्षमता–विलंब समझौते हैं। AISubHub ने न बेंचमार्क चलाए, न क्लस्टर खरीदा या लगाया, न दिया सर्वर शुरू किया और न उत्पादन एजेंट का प्रदर्शन मापा।
सीमाएँ और उपलब्धता
हमने पूरा Apple लेख और डिफॉल्ट दिखती तालिकाएं पढ़ीं, स्वतंत्र पुनरुत्पादन नहीं किया। प्रारूप, संदर्भ, आउटपुट लंबाई, सॉफ्टवेयर और केबल परिणाम बदलते हैं। इन्हें मॉडल विमोचन, गुणवत्ता क्रम, सदस्यता अधिकार या पूरे क्लस्टर की ऊर्जा का दावा नहीं बनाते।
स्रोत और प्रमाण
स्रोत की तारीख: 15 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।