تحليل معمق · قراءة نحو 4 دقائق
التقييم الذاتي لدى Anthropic طبقة مراقبة منخفضة الكلفة، لا دفاع مستقل
توضح الدراسة الفرق بين رصد إساءة الاستخدام لاحقاً، وصد الهجمات، وحدود القياس مقابل مصنف معلّم.
- تاريخ المصدر
- نُشر هنا
- تم التحقق من المصدر
تصف دراسة Anthropic المنشورة في 16 أكتوبر تقييماً ذاتياً يجريه Claude بعد الإجابة لفحص سلامة المحادثة كاملة. وتذكر الشركة انتشاراً واسعاً في التشغيل وكلفة حسابية إضافية قليلة، لكن تجاربها نفسها توضح أن حكم النموذج لا يستبدل الحماية المستقلة أو التحقيق البشري.
استمع إلى الأخبار
استمع إلى هذا المقال أو تابع تشغيل الأخبار.
جارٍ تجهيز القراءة…
صوت الجهاز
يتولى المتصفح أو الجهاز معالجة النطق. لا يرسل AISubHub النص إلى واجهة صوتية. تختلف الأصوات والتشغيل مع قفل الشاشة حسب الجهاز.
قد تتكرر عبارة قصيرة عند المتابعة.
لمحة سريعة
- عند معدل إيجابيات كاذبة 1%، التقط Fable 5 نسبة 78% من المحادثات التي علّمها مصنف أقوى، و94% من عالية الأولوية؛ المرجع هو المصنف المعلّم، لا قياس مستقل للضرر الحقيقي.
- تقدّر الشركة الحساب الإضافي بأقل من 2% على توزيع حركة API الإنتاجية، وتقول إنها لا تحمّل العملاء هذه الكلفة.
- في التشغيل، تُعلّم المحادثات للمراجعة اللاحقة ولا تُحجب، ولا يعمل النظام حالياً على الحركة المشمولة باتفاقات عدم الاحتفاظ بالبيانات.
حكم ثان بعد تقديم الإجابة
بعد كل إجابة، يطلب توجيه نظام قصير من Claude تقييم المحادثة كاملة. وقد يتضمن الناتج فئة الضرر وحالة الرفض وأولوية من 1 إلى 10 وسبباً موجزاً. لا تتاح هذه الأدوار الإضافية للمستخدم ولا تنتقل إلى الدور التالي. وتمنع إعادة استخدام ذاكرة KV قراءة الحوار الطويل من البداية. الإشارة دعوة للتحقيق وليست حكماً بوقوع مخالفة أو ضرر. وهذا مهم لأن معدل إيجابيات كاذبة صغيراً قد يولد إنذارات كثيرة لمحادثات سليمة عندما يكون الحجم كبيراً.
تدريب المراقب وكلفته
يعلّم الضبط الخاضع للإشراف صيغة التقييم أولاً، ثم يحسن التعلم المعزز ست خصائص قابلة للتحقق. والمعلّم مصنف مبني على Claude Mythos Preview مزود بسياسات داخلية مفصلة. تُنشأ البيانات الاصطناعية عبر 32 موضوعاً و32 سيناريو لكل موضوع: 1,024 سيناريو ضاراً و1,024 سليماً لكل سياسة فرعية. ويُحسب الفقد على التقييم فقط، كي لا يعلّم مباشرة التعاون الضار الموجود في الأمثلة. تضيف العملية نحو 10 رموز خرج وسطياً. وتقدير أقل من 2% يخص توزيع الحركة الملاحظ، لا ضماناً بانعدام الكلفة في كل مهمة؛ وعدم احتساب هذه الحصة على العميل لا يجعل الاستدلال مجانياً.
ما الذي تقيسه نسب 78% و94% و1%؟
يقيس تقييم الإنتاج مدى تكرار إشارات المعلّم. عند نقطة تشغيل بإيجابيات كاذبة 1%، يبلغ الاسترجاع 78% عموماً و94% للمحادثات التي أعطاها المعلّم أولوية 7 فأعلى. وليس هذا اختباراً مقابل ضرر واقعي مثبت بصورة مستقلة. استخدام المعلّم نفسه للتدريب والتقييم قد ينقل نقاطه العمياء من دون كشفها. وتجربة منفصلة على أربعة أحجام، بتدريب خاضع للإشراف فقط ومجموعة تقييم أخرى، رفعت الاسترجاع من نحو 16% إلى 96%؛ لا تصح مقارنتها مباشرة بنتائج Fable 5 الإنتاجية. حذف أمثلة الاحتيال أو الضرر السيبراني مشجع، لكنه لا يثبت شمول مخاطر جديدة كلياً.
تجربة الهجوم هي الثقل المقابل
تطبق الشركة الطريقة بشكل سلبي على قسم كبير من حركة النماذج الصادرة منذ Fable 5 في يونيو. ويمكن للإشارات المتكررة عالية الأولوية على مستوى المؤسسة أن تقود إلى مراجعة بشرية للإنفاذ. وفي تجربة منفصلة من 24 مهمة سيبرانية هجومية مع تعطيل مصنفات الإنتاج المعتادة، نجح المهاجمون في 19 مهمة بلا حماية، و13 عند استخدام التقييم الذاتي للحجب، وست مع مصنف مستقل قائم على توجيه. والنسب التقريبية 79% و54% و25% ليست ضمانات سلامة. كلفت الهجمات الناجحة ضد التقييم الذاتي نحو أربعة أضعاف الرموز المولدة، لكن المهاجم المصمم يستطيع التكيف. المراقبة ذات التغذية الراجعة المتأخرة تختلف عن حاجب يكشف قراراته فوراً.
الخصوصية والأخطاء المشتركة والاستخدام العملي
يقرأ التقييم محادثة عولجت بالفعل وفق السياسات القائمة، ولا يجمع فئة جديدة من مدخلات المستخدم. لكن السبب الحر قد يعيد صياغة المحادثة، ولذلك يخضع لحوكمة التوجيهات والإجابات نفسها. وتُستثنى اتفاقات عدم الاحتفاظ بالبيانات. كما أن قيام النموذج بالفعل ومراقبته يخلق أخطاء مترابطة واحتمالات نظرية للإخفاء أو التواطؤ؛ وتقول الدراسة إنه ليس بعد مراقباً موثوقاً لسلوك Claude نفسه. قراءتنا أن الفحص الواسع والرخيص يساعد على توزيع التحليل المكلف والانتباه البشري. ولا ينبغي أن تتحول الدرجة الإيجابية التي يمنحها الوكيل لنفسه إلى إذن بإجراء حساس.
لماذا يهم
الفكرة المفيدة لفرق الوكلاء هي سلسلة مراقبة بحدود مراجعة وقواعد احتفاظ واضحة وطبقة إنفاذ مستقلة. تعرض الدراسة مفاضلة بين الحساب والتغطية. لم تكرر AISubHub التجارب، ولا يعلن النص إعداد سلامة عاماً جديداً للعملاء أو حقاً في اشتراك شخصي.
القيود والتوافر
الأدلة رواية Anthropic نفسها. تسميات المعلّم ومهام الهجوم المحدودة وفئات الضرر المعروفة تترك عدم يقين. الكلفة المنخفضة أو الإشارة أو وسم الرفض لا تثبت السلامة أو المخالفة أو صلاحية التصرف.
المصادر والأدلة
تاريخ المصدر: 16/10/2026 · تم التحقق من المصدر: 20/10/2026
مقالات تحريرية بمساعدة الذكاء الاصطناعي تُراجع مقابل المصادر الأولية المذكورة. تُنسب ادعاءات الشركات إليها، والإدراج لا يعني التوصية.