विस्तृत विश्लेषण · लगभग 6 मिनट पढ़ना
SGLang-TorchTPU से TPU पर नेटिव PyTorch सर्विंग, लेकिन समर्थन के स्तर जाँचना अभी भी ज़रूरी
ओपन-सोर्स प्लगइन SGLang की संरचना बनाए रखते हुए TPU कर्नेल, संकलित आकार-बकेट और KV ट्रांसफ़र जोड़ता है। इसका रीइन्फोर्समेंट लर्निंग प्रदर्शन अभी प्रीव्यू है।
- यहाँ प्रकाशित
- स्रोत की तारीख
- स्रोत जाँचा गया
RadixArk की SGLang टीम, Google और Meta ने 20 अक्टूबर को SGLang-TorchTPU घोषित किया। यह Google Cloud TPU पर मॉडल सर्व करने का नेटिव PyTorch मार्ग देता है। हमने लॉन्च की पूरी व्याख्या, Google Cloud की इकोसिस्टम घोषणा और संशोधित TorchTPU आर्किटेक्चर शोधपत्र पढ़कर इसकी कार्यप्रणाली, परीक्षणों और अभी प्रयोगात्मक हिस्सों को परखा।
समाचार सुनें
यह लेख सुनें या समाचार लगातार चलाएँ।
पढ़ने की तैयारी हो रही है…
डिवाइस की आवाज़
वाक् प्रक्रिया आपके ब्राउज़र या डिवाइस में होती है। AISubHub पाठ किसी ऑडियो API को नहीं भेजता। आवाज़ों और लॉक स्क्रीन पर चलने की सुविधा डिवाइस पर निर्भर है।
जारी करने पर छोटा वाक्यांश दोहराया जा सकता है।
मुख्य बातें
- प्लगइन SGLang के शेड्यूलर, RadixAttention और API सर्वर को रखता है; उनके नीचे TPU-विशिष्ट कर्नेल, कैश पूल और संकलित निष्पादन जुड़ते हैं।
- लॉन्च में15 मॉडल को कवर करने वाले193 पंजीकृत TPU परीक्षण बताए गए हैं। ये समर्थन स्तरों सहित इम्प्लीमेंटेशन जाँच हैं, नया मॉडल-गुणवत्ता लीडरबोर्ड या हर कॉन्फ़िगरेशन की गारंटी नहीं।
- Miles का TPU रीइन्फोर्समेंट लर्निंग प्रीव्यू में है। चार TPU चिप और छह H200 का संदर्भ प्रयोग शुरुआती सीखने के व्यवहार की तुलना करता है; समान प्रशिक्षण गति या लागत सिद्ध नहीं करता।
एप्लिकेशन परिचित रहता है, नीचे निष्पादन बैकएंड बदलता है
SGLang-TorchTPU मुख्य सोर्स-ट्री से बाहर का प्लगइन है, सर्विंग शेड्यूलर का अलग पुनर्लेखन नहीं। यह TPU प्लेटफ़ॉर्म दर्ज करता है और अटेंशन ऑपरेशन, पेज-आधारित की-वैल्यू कैश पूल, मिक्सचर-ऑफ़-एक्सपर्ट कर्नेल और ग्राफ़ रनर देता है। प्रत्येक TPU कोर अपना PyTorch प्रोसेस चलाता है। मॉडल torch.compile से होकर TPU के संकलक स्टैक XLA तक जाता है। Google की व्यापक घोषणा में vLLM, TorchTitan और अन्य इंटीग्रेशन भी हैं; इससे सभी फ़्रेमवर्क या मॉडल समान रूप से परिपक्व नहीं हो जाते।
आधारभूत TorchTPU शोधपत्र सामान्य असिंक्रोनस ईगर निष्पादन, सिंक्रोनस डीबगिंग और ऑपरेशन समूहित करने वाले वैकल्पिक DeferAndFuse को अलग करता है। यह अंतर महत्त्वपूर्ण है: चरण-दर-चरण आसान डीबगिंग और कुशल बारंबार उत्पादन निष्पादन अलग मोड हैं, बिना बदले ईगर कार्यभार को अधिकतम प्रदर्शन देने का वादा नहीं।
संकलित बकेट आकार-विविधता के बदले प्रोग्राम का पुनः उपयोग देते हैं
SGLang सर्विंग में रनर प्रीफ़िल को टोकन-संख्या बकेट और डिकोड को बैच-आकार बकेट में पैड करता है। एक बकेट एक बार संकलित होता है; बाद के चरण आकार मिलने पर उसके कैश किए प्रोग्राम को चलाते हैं। Pallas अटेंशन और एक्सपर्ट गणना के कर्नेल देता है, जो संकलित ग्राफ़ में कस्टम PyTorch ऑपरेशन के रूप में दर्ज होते हैं। इससे परिचित मॉडल कोड के नीचे हार्डवेयर-विशिष्ट काम जुड़ता है।
हमारी व्याख्या में संकलन का वार्म-अप और बारंबार निष्पादन अलग मापे जाने चाहिए। बदलती प्रॉम्प्ट लंबाई और अनुरोध आगमन वाली सेवा को बकेट की वास्तविक कवरेज और पैडिंग ओवरहेड जाँचना होगा। शोधपत्र अधिक सामान्य सीमाबद्ध डायनेमिज़्म समर्थन को अभी सक्रिय विकास बताता है; इसलिए तैनात कॉन्फ़िगरेशन में हर पुनर्संकलन मिट जाने की धारणा उचित नहीं है।
प्रिफ़िक्स पुनः उपयोग और KV ट्रांसफ़र अलग बाधाएँ हल करते हैं
RadixAttention साझा प्रॉम्प्ट प्रिफ़िक्स की कैश की हुई गणना दोबारा उपयोग करता है। TPU Sync दूसरी समस्या सँभालता है: एक्सेलरेटर और होस्ट मेमोरी के बीच, या अलग प्रीफ़िल तथा डिकोड होस्ट के बीच की-वैल्यू पेज ले जाना। वर्णित कंज़्यूमर-पुल प्रवाह में अगला प्रीफ़िल खंड बनते समय डिकोड पूरा खंड प्राप्त करता है। डिकोड के अपने प्रिफ़िक्स कैश में मौजूद पेज फिर नहीं भेजे जाते; अलग टेंसर-पैरेलल लेआउट ट्रांसफ़र के दौरान पुनः विभाजित हो सकते हैं।
ये विधियाँ दोहराई गणना और अनावश्यक स्थानांतरण घटा सकती हैं, लेकिन मेमोरी व संचार बजट समाप्त नहीं करतीं। बारंबार एक प्रॉम्प्ट वाले एजेंट और असंबंधित अनुरोधों की धारा के पुनः उपयोग अवसर अलग हैं। मेमोरी ऑफ़लोड या अलग होस्ट लाभ देते हैं या नहीं, यह कैश फ़ीचर के नाम से नहीं, वास्तविक विलंब, ट्रांसफ़र ट्रैफ़िक और क्षमता से जाँचना चाहिए।
अनुकूलता के आँकड़ों के साथ परीक्षण की परिभाषा चाहिए
लॉन्च के193 परीक्षण एकल व बहु-होस्ट TPU v7x पर15 मॉडल को कवर करते हैं, जिनमें पुल-रिक्वेस्ट और रात्रिकालीन जाँच हैं। सुविधा तालिका स्ट्रक्चर्ड आउटपुट और फ़ंक्शन कॉलिंग, तथा पाइपलाइन पैरेललिज़्म और NVFP4 एक्सपर्ट निष्पादन को प्रयोगात्मक बताती है। कुछ नए सूचीबद्ध मॉडल भी अभी सत्यापन में हैं। इसलिए केवल मॉडल नाम से उपयोगी फ़ीचर संयोजन या अनुकूलन स्तर तय नहीं होता।
व्यापक शोधपत्र अलग हरों का उदाहरण देता है: कॉर्पस के4917 मॉडल में4821 नो-क्रैश परीक्षण पास करते हैं, जिसे98% बताया गया;657 आर्किटेक्चर प्रतिनिधियों में638 संख्यात्मक समानता परीक्षण पास करते हैं, जिसे97% बताया गया। परीक्षण और आबादी अलग हैं। किसी संख्या का अर्थ नहीं कि हज़ारों मॉडल ने समान सटीकता, कार्य-गुणवत्ता और उत्पादन प्रदर्शन योग्यता जाँच प्राप्त की है।
रीइन्फोर्समेंट लर्निंग प्रदर्शन का निष्कर्ष अधिक सीमित है
Miles, SGLang से बने रोलआउट, TorchTitan प्रशिक्षण और अपडेटेड वज़न के सिंक्रोनाइज़ेशन को जोड़ता है। उदाहरण DAPO-Math-17k पर GRPO से Qwen3-4B को प्रशिक्षित करता है: एक TPU v7x होस्ट के चार चिप प्रशिक्षण और रोलआउट में बराबर बँटे हैं। संदर्भ में समान रेसिपी और हाइपरपैरामीटर के साथ छह H200 GPU तथा प्रत्येक प्लेटफ़ॉर्म पर दो सीड हैं। लेखक बताते हैं कि रिवॉर्ड और जवाब लंबाई सीड-से-सीड परिवर्तन की सीमा में समान रहे, और AIME-24 का अंतर मूल्यांकन के शोर के भीतर था।
यह शुरुआती सीखने की सीमित तुलना को समर्थन देता है, उन हार्डवेयर आवंटनों में समान थ्रूपुट या ख़र्च को नहीं। वास्तविक रन वज़न ट्रांसफ़र के लिए साझा मेमोरी इस्तेमाल करता है। डिस्क चेकपॉइंट होस्ट के बीच काम करते हैं लेकिन सबसे धीमे बताए गए हैं; डिवाइस-से-डिवाइस ICI ट्रांसफ़र अभी योजना है। बहु-होस्ट प्रशिक्षण, लंबा सत्यापन और GPU से स्टेप-टाइम अंतर कम करना आगे का काम है।
उपयोगी माइग्रेशन पायलट केवल शुरुआत नहीं, परिणाम भी जाँचता है
AISubHub की व्यावहारिक सलाह सीमित पायलट है: चेकपॉइंट और प्रिसीजन तय करें, आवश्यक समर्थन स्तर की पुष्टि करें, ज्ञात इनपुट बचाएँ और संकलन, बारंबार थ्रूपुट, टेल लेटेंसी, कैश पुनः उपयोग तथा आउटपुट की शुद्धता मापें। आवंटित क्लाउड संसाधन और वास्तविक बिल भी शामिल करें। सामुदायिक क्षमता के लिए योगदानकर्ताओं को आवेदन करना होता है; यह असीमित मुफ़्त TPU का अधिकार नहीं है।
यह20 अक्टूबर का सर्विंग रिलीज़ है, आज घोषित नया मॉडल नहीं। आर्किटेक्चर शोधपत्र पहली बार16 अक्टूबर को आया और हमने जो संस्करण पढ़ा वह20 अक्टूबर को संशोधित हुआ;21 अक्टूबर की RSS खोज पहली प्रस्तुति नहीं है। हम इन सामग्रियों को एक इम्प्लीमेंटेशन विश्लेषण में जोड़ते हैं। SGLang-JAX का रखरखाव जारी है; नए बैकएंड को उसके बंद होने के रूप में नहीं बताना चाहिए।
यह क्यों अहम है
AISubHub का विश्लेषण: सर्विंग एप्लिकेशन को PyTorch में रखने से माइग्रेशन में अलग सॉफ़्टवेयर मार्ग सँभालने की ज़रूरत घट सकती है। निर्णय फिर भी सटीक चेकपॉइंट, समर्थित सुविधाओं, संकलन व्यवहार, आउटपुट गुणवत्ता, हार्डवेयर क्षमता और लक्षित कार्यभार के मापे गए बिल पर निर्भर है।
सीमाएँ और उपलब्धता
यहाँ चर्चा किए गए सभी प्रदर्शन और अनुकूलता परिणाम मूल लेखकों के हैं। AISubHub ने स्टैक चलाया नहीं, TPU किराए पर नहीं लिया और परीक्षण दोहराए नहीं। हमने चित्र विवरण पढ़े, लेकिन ग्राफ़ के पिक्सेल स्वतंत्र रूप से नहीं जाँचे। ओपन-सोर्स सॉफ़्टवेयर में क्लाउड आरक्षण, सबके लिए मुफ़्त कंप्यूट या व्यक्तिगत सदस्यता लाभ शामिल नहीं हैं।
स्रोत और प्रमाण
स्रोत की तारीख: · स्रोत जाँचा गया:
स्रोत की तारीख: · स्रोत जाँचा गया:
स्रोत की तारीख: · स्रोत जाँचा गया:
AI की सहायता से लिखे लेखों को दिए गए प्राथमिक स्रोतों से जाँचा जाता है। प्रदाता के दावों का श्रेय स्पष्ट है; सूची में होना समर्थन नहीं है।