विस्तृत विश्लेषण · लगभग 5 मिनट पढ़ना
MAI-Base-2: प्रशिक्षण की दक्षता और मॉडल की उपलब्धता अलग प्रश्न हैं
Microsoft ने 2.8 ट्रिलियन पैरामीटर वाले आधार मॉडल, दोहराए डेटा और ढाँचे का विवरण दिया। दक्षता के आँकड़े तैयार सहायक या सदस्यता की घोषणा नहीं हैं।
- स्रोत की तारीख
- यहाँ प्रकाशित
- स्रोत जाँचा गया
Microsoft AI ने 15 अक्टूबर को MAI-Base-2 के पूर्व-प्रशिक्षण का विवरण प्रकाशित किया। उसके अनुसार विशेषज्ञ-मिश्रण मॉडल में कुल 2.8 ट्रिलियन और सक्रिय 80 बिलियन पैरामीटर हैं। उपयोगी खबर इसकी विधि और प्रमाण हैं: चेकपॉइंट अभी प्रशिक्षणोत्तर चरण में था। इससे आम लोगों के लिए सहायक या सदस्यता उपलब्ध होने की घोषणा स्थापित नहीं होती।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- Microsoft के अनुसार 16,000 GB200 GPU पर 38 दिन प्रशिक्षण चला; औसत मॉडल FLOPs उपयोग 21% और goodput 89% था। ये प्रशिक्षण के अलग पहलुओं के माप हैं।
- अलग रखे पाठ पर समान bits-per-byte के लिए टीम ने DeepSeek-V4-Pro-Base से 4.2–12.3 गुना FLOPs दक्षता का अनुमान लगाया। यह फिट किए वक्रों की तुलना है, अंतिम प्रशिक्षण बिल में उतनी कमी का माप नहीं।
1. आधार चेकपॉइंट और सहायक की भूमिका अलग है
पूर्व-प्रशिक्षण डेटा से भविष्यवाणी की संरचना सीखता है। प्रशिक्षणोत्तर काम निर्देश मानने और अनुप्रयोगों में व्यवहार को आकार देता है। Microsoft ने MAI-Base-2 को इन चरणों के बीच रखा है। सक्रिय पैरामीटर एक टोकन के लिए चुनी गणना बताते हैं, जबकि बहुत बड़ी कुल संख्या भंडारण और तैनाती में अब भी महत्वपूर्ण है। कोई एक संख्या आवश्यक मेमोरी या संवाद की गति नहीं बताती। विवरण मॉडल की नींव पर चर्चा का आधार है, तुरंत इस्तेमाल किए जा सकने वाले Copilot उन्नयन का प्रमाण नहीं।
2. छोटे प्रयोगों में भी डेटा का दोहराव समान हो
आकार बदलने वाली प्रयोग-सीढ़ी सक्रिय पैरामीटर के प्रति प्रशिक्षण टोकन स्थिर रखती है। Microsoft छोटे प्रयोगों में अद्वितीय उदाहरण भी सीमित करता है ताकि हर स्रोत उतनी ही बार दोहराया जाए। यदि कोई स्रोत 50T टोकन के प्रशिक्षण में आठ बार आता है, तो 5T प्रयोग उसके दसवें हिस्से को आठ बार पढ़ता है। इससे केवल नए उदाहरण देखने वाले छोटे मॉडल के लिए अच्छे, पर बड़े प्रशिक्षण में कमजोर पड़ने वाले समायोजन चुनने का जोखिम घटता है। सीखने की दर और वेट क्षय को उनके जुड़े प्रभावों के कारण साथ खोजा जाता है।
3. दक्षता तुलना का वास्तविक अर्थ
Bits-per-byte मूल पाठ के बाइट से भविष्यवाणी हानि सामान्य करता है, जिससे टोकनाइज़र के अंतर का असर कम होता है। Microsoft कोड, प्रश्नोत्तर, STEM और गणित के लिए गणना-हानि वक्र अलग फिट करता है और अंतिम चेकपॉइंट भी शामिल करता है। अनुमान यह है कि संदर्भ मॉडल की हानि बराबर करने के लिए कितनी गणना चाहिए। MAI-Base-2 के अंतिम प्रशिक्षण ने वास्तव में संदर्भ से अधिक FLOPs खर्च किए। कुछ दूसरे तुलना-चेकपॉइंट पहले से प्रशिक्षणोत्तर थे, जिसकी चेतावनी भी दी गई है। परिणाम सीधे डॉलर की बचत या सभी सहायकों की सार्वभौम रैंकिंग नहीं बनता।
4. विरल मॉडल में भी मेमोरी और संचार की सीमा है
Microsoft विशेषज्ञों को निश्चित टोकन क्षमता वाले समूहों में रखता है। अधिक बोझ वाला विशेषज्ञ समूह की खाली क्षमता ले सकता है; शेष टोकन हटाने के बजाय अतिरिक्त दौर में चलते हैं। अधिक दौर सीमित मेमोरी के बदले समय लेते हैं। भेजना, गणना और संग्रह एक-दूसरे से ओवरलैप किए जाते हैं। टीम ऑप्टिमाइज़र का मोमेंटम फिर बाँटती है ताकि वितरित भंडारण के बावजूद Muon पूरी मैट्रिक्स पर काम करे। अनुकूलित Muon चरण 165 मिलीसेकंड, औसत पुनरावृत्ति का 2.1%, बताया गया है। यह उस कार्यान्वयन का परिणाम है, दूसरे क्लस्टर की गारंटी नहीं।
5. डेटा की गुणवत्ता भी इंजीनियरिंग परिणाम है
Microsoft का कहना है कि अद्वितीय प्रशिक्षण टोकन लगभग 36% बढ़े, ज्ञान सीमा मार्च 2026 है और डेटा अन्य मॉडल से डिस्टिल करने के बजाय आंतरिक रूप से संसाधित हुआ। अलग एन्कोडर के बिना दृष्टि-भाषा कॉर्पस में 4.5T अद्वितीय टोकन हैं; दोहराव सहित वह 50T मिश्रण का 18% बनता है। अद्वितीय मात्रा और प्रशिक्षण में कुल संपर्क अलग माप हैं। एक्टिवेशन-ग्रेडिएंट क्लिपिंग से विकृत कोड उदाहरण के जरिए पूर्व-प्रसंस्करण त्रुटि भी मिली। स्थिरता की निगरानी डेटा सुधार का रास्ता हो सकती है, केवल टोकन बढ़ाने का लक्ष्य नहीं।
6. इसे जाँचने योग्य इंजीनियरिंग दावे मानें
विवरण मॉडल के चुनाव को वास्तविक समय से जोड़ता है: कोई संरचना सैद्धांतिक गणना घटाकर भी संचार या मेमोरी के कारण धीमी हो सकती है। हमारा विश्लेषण है कि यह प्रयोग तय करने में उपयोगी है, लेकिन शीर्षक की बड़ी संख्याओं से उत्पादन मॉडल चुनने के लिए पर्याप्त नहीं। दोहराने योग्य कार्य, डेटा अधिकार, प्रशिक्षणोत्तर व्यवहार और तैनाती सीमाएँ जाँचना जरूरी है। ये स्पष्ट होने तक भविष्य की भागीदार लाइसेंस योजना को वर्तमान पहुँच, मूल्य और व्यक्तिगत सदस्यता की तुलना से अलग रखना चाहिए।
यह क्यों अहम है
AISubHub विश्लेषण: डेटा का दोहराव, मॉडल संरचना और संचार साथ जाँचना उपयोगी सीख है। उद्यम खरीदारों को प्रशिक्षणोत्तर चेकपॉइंट तक पहुँच, तैनाती शर्तें और दोहराने योग्य कार्य-मूल्यांकन अलग से देखने होंगे। प्रशिक्षण की विधि इन खरीद-संबंधी प्रश्नों का उत्तर नहीं देती।
सीमाएँ और उपलब्धता
आँकड़े Microsoft के दावे हैं, AISubHub के परीक्षण नहीं। सार्वजनिक ब्लॉग का पूरा गद्य पढ़ा गया, अलग PDF या ग्राफ का कोड नहीं। Foundry के माध्यम से विश्वसनीय भागीदारों को भविष्य में वेट लाइसेंस देने की मंशा, MAI-Base-2 का सार्वजनिक API मूल्य या व्यक्तिगत सदस्यता-अधिकार उपलब्ध नहीं कराती।
स्रोत और प्रमाण
स्रोत की तारीख: 15 अक्टू॰ 2026 · स्रोत जाँचा गया: 20 अक्टू॰ 2026
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।