تحليل معمق · قراءة نحو 6 دقائق
دليل AWS للتعلم المعزز متعدد الجولات: المكافأة وفك الترميز والفاتورة جزء من النتيجة
يعرض مثال Wordle على SageMaker AI تحسن gpt-oss-20b، ويشرح أخطاء المكافأة واختلاف إعدادات التقييم وكلفة AgentCore المنفصلة عن رموز التدريب.
- نُشر هنا
- تاريخ المصدر
- تم التحقق من المصدر
نشرت AWS دليلاً عملياً لاحقاً للتعلم المعزز متعدد الجولات على SageMaker AI. يدرّب المقال التقني المؤرخ في 23 أكتوبر gpt-oss-20b على Wordle، ويشرح إخفاقات تصميم المكافأة ومشكلات التشغيل وشروط التقييم. إنه دليل تنفيذ جديد لخدمة قائمة، وليس إعادة إعلان الإتاحة العامة لجلسات التدريب أو إطلاق نموذج أساسي جديد.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- على 128 كلمة محفوظة للتقييم، تبلغ AWS عن حل 61%→84% مع استدلال medium وtemperature 1.0؛ ومع low عند الحرارة نفسها تصبح النسبة 15%→69%.
- استخدم التشغيل ذو 100 خطوة 105,486 تجربة rollout خلال 12 ساعة و40 دقيقة، وبلغ مجموع رسوم الأنواع الثلاثة لرموز النموذج $338.50؛ ونحو $79 لـAgentCore منفصلة.
- كانت أوزان المكافأة غير المناسبة تفضّل الحل الأبطأ. ونهاية التحقق أثناء التدريب عند 37% تختلف في إعداداتها عن تقييم الخدمة عند 84%.
هدف التعلم حلقة كاملة، لا إجابة نموذجية واحدة
يحتاج الوكيل متعدد الخطوات إلى تغذية راجعة عن تسلسل قراراته، لا مجرد إجابة يقلّدها. في بنية AWS يتولى SageMaker AI مهمة التدريب ونموذج السياسة، ويستضيف وقت تشغيل AgentCore وكيل Strands والبيئة والتقييم. يطلب الوكيل تخميناً من نموذج السياسة، ويتلقى ملاحظات Wordle، ثم يبلّغ عن مكافأة واحدة عند انتهاء اللعبة. تقارن GRPO عدة تجارب rollout للكلمة نفسها وتحدّث محوّل LoRA. تسهّل خمسة أحرف وست محاولات قياس النتيجة، لكن المهمة تعليمية وليست إثباتاً لسير عمل إنتاجي.
يفصل المثال 640 كلمة تدريب عن 128 كلمة محفوظة للتقييم. تحتوي كل عينة تدريب على كلمة سرية للبيئة، ولا تُعرض على السياسة كإشارة إلى الإجابة. لا توجد إجابات مستهدفة أو مسارات موسومة. يستخدم التدريب 100 خطوة و128 كلمة في الخطوة وثماني ألعاب لكل كلمة، مع استدلال low وtemperature 1.0. هذا الفصل مهم: البيئة والمكافأة تولّدان إشارة التعلم، لكن صحة تصميمهما تظل مسؤولية العميل.
قد ترتفع المكافأة بينما يسوء السلوك المقصود
جمع التصميم الأول مكافآت إضافية بعد كل تخمين. وكان يمكنه منح لعبة خاسرة +0.49، وحلاً من التخمين الأول +0.99، وحلاً من الثالث +1.61، فيكافئ المسار الأطول بدلاً من النتيجة الأفضل. يجعل التصميم النهائي نتيجة الحلقة هي الأساس: تنخفض مكافأة النجاح الأساسية من 1.55 في التخمين الأول إلى 1.05 في السادس؛ الخسارة −0.5، وعدم إنتاج أي تخمين صالح −1.5. يساهم الالتزام بالقرائن ومنع التكرار واكتساب المعلومات في تعديلات shaping أصغر.
يُحصر shaping بين −1 و1، بوزن 0.04 للألعاب المحلولة و0.15 لغيرها. كان الوزن السابق 0.15 للنجاح أيضاً قد يفضّل الإكمال الأبطأ؛ تقليله يفصل مجالات درجات النجاحات المتجاورة ويبقي أسوأ نجاح فوق عتبة النجاح. ترى AISubHub أن الدرس التشغيلي هو فحص المسارات الفعلية ومقارنة ترتيب المكافآت بالسلوك المراد. ارتفاع متوسط المكافأة وحده لا يثبت أن الوكيل تعلّم الهدف الصحيح.
التحسن البارز مشروط بالاستدلال وأخذ العينات
على 128 كلمة محفوظة، يحل النموذج الأساسي 61% والمدرّب 84% مع استدلال medium وtemperature 1.0، أي زيادة 23 نقطة مئوية. نسبة 84% للمدرّب هي متوسط تشغيلين عند 80% و88%. مع low وtemperature 1.0 تصبح المقارنة 15%→69%، أي 54 نقطة. وعند temperature 0 يعرض الرسم 2%→37% مع low و16%→30% مع medium. هذه أربعة شروط مختلفة، وليست تقديرات قابلة للاستبدال لتحسن عام واحد.
أثناء التدريب، يستخدم التحقق استدلال low وtemperature 0 المثبتة من الخدمة. تبلغ نسبة الحل ذروتها 48% عند الخطوة 90 وتنتهي عند 37%، بينما يستخدم رقم الخدمة البارز medium وأخذ العينات. يربط المصدر الفرق صراحة بإعدادات فك الترميز. استهلك low رموز sample أقل بنسبة 63–83% لكل لعبة من medium في تقييمات المؤلفين؛ وليس ذلك ضماناً لخفض مماثل في الكلفة الكلية للمشروع. مجموعة التقييم صغيرة، ولم تثبت AWS النتيجة لأدوات أو لغات أو مهام أعمال اعتباطية.
رموز التدريب ليست كامل الفاتورة
استغرق التشغيل المبلغ عنه، ذو 100 خطوة، 12 ساعة و40 دقيقة وضم 105,486 تجربة rollout. يورد الجدول 491,616,806 رمز prefill بسعر $0.12 لكل مليون، أي $58.99؛ و159,737,098 رمز sample بسعر $0.30، أي $47.92؛ و643,308,554 رمز train بسعر $0.36، أي $231.59. المجموع $338.50، أو نحو $339 بعد التقريب. هذه أسعار قائمة GPT-OSS-20B في us-east-1 وقت كتابة المقال. نحافظ على رمز $ دون افتراض مستقل للعملة أو اعتبار الأرقام عرض سعر حالياً وعاماً.
تضيف وحدة المعالجة والذاكرة في AgentCore نحو $79 بصورة منفصلة، وتضيف مهام التقييم نحو $1.20. يتضمن prefill إعادة قراءة سجل المحادثة، وتشمل رموز sample الاستدلال، فيما يشكل تدريب الانتشار العكسي أكبر بند مدرج. لذلك تؤثر المسارات الأطول في عدة عدادات. ويحذر الدليل من بقاء موارد AgentCore وMLflow وS3 بعد انتهاء التدريب. تعدّه AISubHub مثالاً محاسبياً مفيداً، لكنها لم تتحقق من فاتورة ولم تثبت كلفة شاملة لكل الموارد المتبقية والنشر اللاحق.
إخفاقات وقت التشغيل قد تفسد تجربة صحيحة
يسجل الدليل إخفاقات قد تخفيها عبارة مختصرة عن الدقة. يحتاج دور المهمة إلى جهة الثقة job.sagemaker.amazonaws.com وصلاحيتي AssumeRole وTagSession معاً. ولا يبدأ الخادم بمجرد decorator للـhandler؛ يحتاج المثال إلى BedrockAgentCoreApp وdecorator للـentrypoint في المستوى الخارجي. يجب أن تكون البيانات ووقت التشغيل والمهمة في Region واحدة. إعادة نشر وقت التشغيل أثناء التدريب تقطع تجارب rollout وقد تفشل المهمة بأكملها.
كشفت 32 تجربة rollout متزامنة أيضاً انتهاء صلاحية بيانات اعتماد مخزنة مؤقتاً؛ يشرح المؤلفون التجديد الاستباقي وإعادة التوقيع بعد إخفاق التفويض. وقد تترك ميزانية رموز صغيرة مساحة غير كافية لاستدعاء أداة، بينما قد يحوّل معدل تعلم مرتفع جداً الاستدعاءات المنظمة إلى نص عادي. هذه معالجات تنفيذية وليست ضمانات موثوقية. قرأنا أمثلة الشفرة داخل المقال، لكننا لم نثبت الاعتماديات أو نستدعِ واجهات AWS أو ننفذ smoke test أو ندرّب محوّلاً أو نكرر الإصلاحات.
ما الذي يمكن نقله إلى ما وراء Wordle؟
جدول النماذج في الدليل محدود بتاريخ كتابته: Nova2Lite وGPT-OSS-20B في us-east-1 وus-west-2، وGemma4 31B instruction-tuned وQwen3.6 27B في us-west-2، باستخدام LoRA. لا يثبت ذلك دعم كل النماذج أو المناطق أو الحسابات. كما أن هذا الدليل اللاحق لا يعيد إعلان هذه النماذج أو إطلاق خدمة جلسات التدريب المنفصلة التي غُطيت سابقاً.
الفكرة القابلة للنقل هي مراجعة نتيجة المهمة وحوافز shaping وإعداد الخدمة والكلفة الكلية للموارد كلٌّ على حدة. يحتاج سير العمل التجاري إلى بيئته ومكافأة قابلة للدفاع عنها وتقييم منفصل ممثل قبل ادعاء فائدة. شملت قراءتنا المقال كاملاً وجميع الجداول والرسوم الثابتة السبعة الضرورية. لم نراجع الوثائق أو الأوراق أو المستودع أو التراخيص المرتبطة، ولم نختبر الأداء أو التسعير أو الأمن بصورة مستقلة. تظل النتائج تجربة Wordle محدودة أبلغت عنها AWS.
لماذا يهم
يقدم الدليل طرائق عملية لفحص مشروع تدريب متعدد الجولات: اختبار ترتيب المكافآت، والمقارنة تحت شروط فك ترميز متطابقة، واحتساب عمل النموذج ووقت تشغيل الوكيل معاً. تحسن أي سير عمل آخر يحتاج إلى قياس على ذلك السير نفسه.
القيود والتوافر
تبلغ AWS عن تجربة Wordle واحدة مع 128 كلمة محفوظة للتقييم؛ معدل الحل البارز للنموذج المدرّب متوسط تشغيلين. راجعنا الدليل الكامل وسبعة رسوم ثابتة، لا الوثائق أو المستودعات أو التراخيص المرتبطة، ولم ننفذ اختبار تدريب أو API أو فوترة أو نشر. الأسعار وشروط النموذج/Region تعود إلى وقت المصدر.
المصادر والأدلة
تاريخ المصدر: · تم التحقق من المصدر:
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.