تحليل معمق · قراءة نحو 3 دقائق
استراتيجيتا KV في vLLM تعالجان تأخرين مختلفين
تقارن AWS دفع الذاكرة وإعادة الاستخدام ثنائي الاتجاه بتجارب لا تُجمع مكاسبها.
- تاريخ المصدر
- نُشر هنا
- تم التحقق من المصدر
يناقش دليلان بتاريخ 19 أكتوبر نقل KV في vLLM المفصول. نجمع الخيارين للتحليل، لا كتحسينين تراكميين أو إصدارات جديدة للنماذج المختبرة.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- يعلن push تحسن TTFT حتى ثلاثة أضعاف وTPOT بنسبة 30% لـQwen3-32B على عقدة لكل مرحلة مع P5en/EFA.
- يعلن النقل ثنائي الاتجاه حتى 1.6 و3.3 أضعاف في TTFT لـQwen3-32B وGLM-5-FP8 بشروط ذاكرة مختلفة.
بنية مشتركة لا تعني تجربة متطابقة
يبني prefill ذاكرة KV من الطلب، ويولد decode الرموز منها. فصل المحركين يتيح توسيعهما منفصلين لكنه يضيف نقلاً. تستخدم الأدلة NIXL وEFA على العتاد الداعم لنقل ذاكرة الجهاز دون المرور بالمضيف. يقول المؤلفون إن التطوير بدأ على Trainium ثم ساهموا به مستقلاً عن المسرع، لكن الأرقام المنشورة على GPU P5en. ليس كل جهاز داعماً للوصول المباشر. يستهدف التحسينان انتظاراً مختلفاً: تجهيز تسليم الطلب وإعادة حساب سياق الجولة اللاحقة.
الدفع يقدم التنسيق إلى الأمام
ينتظر pull انتهاء prefill ويمرر مواضع الكتل عبر الموجه ثم يجهز القراءة في decode. يحجز push الوجهات ويسجلها أثناء الحساب. يطابق المنتج التسجيل والحساب المنتهي بأي ترتيب، ثم يجهز خيط خلفي الواصفات ويرسل NIXL WRITE. ينتظر decode جميع إشعارات الاكتمال المتوقعة قبل استخدام KV. يخف عبء حلقته الحساسة، مع NixlPushConnector في الطرفين. المقابل اختيار decode أبكر؛ يستطيع pull تأجيله إلى ما بعد prefill للتوجيه حسب الحمل.
إعادة الاستخدام تحتاج حالة باقية
يحفظ التصميم ثنائي الاتجاه KV للطلب والرد المولد في decode ليسترده prefill بالجولة التالية. يخزن الموجه مواضع الكتل حسب conversation_id، لا الموترات. العمر الافتراضي 480 ثانية ثابتة وغير مجددة؛ بعد انتهائها يعود prefill العادي. العتبة 64 رمزاً قابلاً لإعادة الاستخدام: الأقل يعاد حسابه، وعندها أو فوقها يمكن النقل. تحدد AWS الإصدار vLLM 0.21.0 أو أحدث وNixlConnector وخيار bidirectional_kv_xfer على الطرفين وموجهاً مناسباً. إعداد منفرد ليس نشراً كاملاً.
افصل خطي المقارنة
اختبار push استخدم Qwen3-32B وعقدة لكل مرحلة وP5en/EFA و128 رمز إخراج مع تعطيل prefix cache في decode. عند ثمانية طلبات بالثانية وإدخال 16k بلغ TTFT نحو 1744 مقابل 540 مللي ثانية، وTPOT عند الحمل العالي 10.4 مقابل 7. كانت المدخلات القصيرة بالحمل الخفيف متقاربة. عطلت تجربة الاتجاهين cache على prefill لمحاكاة ضياع التاريخ المحلي: Qwen عند 24k حقق 778 مقابل 460، وGLM عند 20k حقق 2334 مقابل 702. عاملَا 1.6 و3.3 يخصان تلك التجربة، لا ترتيباً عاماً.
تحليل: اختر السياسة ثم تحقق
يبقي دليل push خيار pull للنقل ثنائي الاتجاه أو اختيار decode المتأخر. لذا لا تُضرب المكاسب. نقترح فحص فواصل الجولات وتداخل الطلبات والحمل الحقيقي مع TTFT وتأخر الرمز والإنتاجية والذاكرة والانتهاء. عطّل cache لإعادة التجربة المذكورة فقط، لا كقاعدة إنتاجية. يلزم فحص الإعادات والمواضع القديمة وعزل المحادثات أيضاً. هذه توصياتنا؛ لم ننشر المنظومة أو نقس الفاتورة. الفائدة مفاضلة موثقة بين التنسيق وإعادة الاستخدام والتوجيه، لا وعد سرعة لكل تطبيق.
لماذا يهم
ينبغي تحديد هل العائق تنسيق الطلب أم إعادة حساب السياق، مع كلفة الشبكة والذاكرة والتوجيه.
القيود والتوافر
هذه اختبارات AWS لا اختباراتنا. لا تُضرب العوامل ولا تنتج حصة اشتراك شخصية أو سعراً ثابتاً.
المصادر والأدلة
تاريخ المصدر: 19/10/2026 · تم التحقق من المصدر: 20/10/2026
تاريخ المصدر: 19/10/2026 · تم التحقق من المصدر: 20/10/2026
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.