Подробный разбор · Около 4 мин чтения
Самооценка Anthropic — дешёвый слой мониторинга, а не самостоятельная защита
Исследование разделяет отложенное обнаружение злоупотреблений, устойчивое блокирование атак и ограничения проверки по классификатору-учителю.
- Дата источника
- Опубликовано здесь
- Источник проверен
В исследовании от 16 октября Anthropic описывает самооценку: после ответа Claude кратко проверяет безопасность всего разговора. Компания сообщает о широком применении в эксплуатации и небольших дополнительных вычислениях, но её собственные эксперименты объясняют, почему такое суждение не заменяет независимые защитные механизмы и расследование человеком.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- При 1% ложноположительных срабатываний Fable 5 обнаружил 78% разговоров, отмеченных более сильным учителем, и 94% высокоприоритетных; это сравнение с учителем, а не независимая оценка реального вреда.
- Компания оценивает дополнительные вычисления менее чем в 2% на распределении рабочего API-трафика и утверждает, что не выставляет клиентам этот расход.
- В эксплуатации оценки отмечают разговоры для последующей проверки, а не блокируют их; трафик по соглашениям о нулевом хранении данных сейчас исключён.
Второе суждение после ответа
После каждого ответа короткая системная инструкция просит Claude оценить разговор целиком. Результат может включать категорию вреда, факт отказа, приоритет от 1 до 10 и короткую причину. Эти дополнительные ходы недоступны пользователю и не переходят в следующий ход разговора. Повторное использование KV-кэша избавляет от чтения длинного диалога с начала. Отметка — сигнал к расследованию, а не доказательство нарушения или наступившего вреда. Это существенно: даже малая доля ложных срабатываний при большом масштабе даёт много тревог по безвредным разговорам.
Как обучают монитор и считают расходы
Сначала обучение с учителем задаёт формат оценки, затем обучение с подкреплением улучшает шесть проверяемых свойств. Учитель — классификатор на основе Claude Mythos Preview с подробными внутренними правилами. Синтетические данные строятся из 32 тем по 32 сценария: по 1 024 вредных и 1 024 безвредных сценария на подраздел правил. Функция потерь применяется только к оценке, чтобы напрямую не обучать вредному содействию из примеров. В среднем добавляется около 10 выходных токенов. Оценка менее 2% относится к наблюдаемому распределению трафика, а не обещает отсутствие накладных расходов везде; отсутствие отдельного счёта за эту часть не делает сам вывод бесплатным.
Что означают 78%, 94% и 1%
Рабочая проверка измеряет воспроизведение отметок учителя. В точке с 1% ложноположительных срабатываний полнота составляет 78% в целом и 94% для разговоров с учительским приоритетом не ниже 7. Независимо установленный реальный вред не служит здесь эталоном. Один учитель для обучения и проверки способен передать слепые зоны, которые такая оценка не замечает. Отдельный опыт на четырёх размерах, только с обучением с учителем и другим набором проверки, повысил полноту примерно с 16% до 96%; напрямую сравнивать это с Fable 5 в эксплуатации нельзя. Исключение примеров мошенничества или кибервреда обнадёживает, но не доказывает охват совершенно новых угроз.
Атакующий эксперимент — необходимый противовес
Anthropic пассивно применяет метод к значительной части трафика моделей, выпущенных начиная с Fable 5 в июне. Повторные высокоприоритетные отметки по организации могут вызвать проверку исполнения правил людьми. В отдельном опыте из 24 наступательных киберзадач обычные рабочие классификаторы отключили: атакующие решили 19 задач без защиты, 13 с самооценкой-блокировщиком и шесть с независимым классификатором. Примерно 79%, 54% и 25% не являются гарантиями безопасности. Успешные атаки на самооценку требовали около четырёхкратного количества сгенерированных токенов, но целевой противник мог адаптироваться. Отложенный мониторинг отличается от блокировщика, немедленно раскрывающего свои решения.
Приватность, общие ошибки и практический смысл
Оценка читает уже обработанный по действующим правилам разговор и не собирает новую категорию пользовательского ввода. Однако свободное объяснение может пересказывать разговор и управляется так же, как запросы и ответы. Соглашения о нулевом хранении исключены. Один и тот же деятель и монитор также разделяют ошибки суждения и теоретические риски сокрытия или сговора; статья прямо не считает систему надёжным контролёром поведения самого Claude. Наша интерпретация: дешёвый широкий отбор помогает распределять дорогой анализ и внимание людей. Положительная оценка, выставленная агентом самому себе, не должна разрешать чувствительное действие.
Почему это важно
Командам агентов полезна каскадная схема с явными порогами проверки, правилами хранения и независимым исполнением ограничений. Исследование показывает компромисс вычислений и охвата. AISubHub не воспроизводил эксперименты; новая публичная настройка безопасности или право личной подписки здесь не объявлены.
Ограничения и доступность
Это собственный отчёт Anthropic. Метки учителя, ограниченные атаки и известные категории вреда оставляют неопределённость. Низкая цена, отметка или метка отказа не доказывают безопасность, нарушение либо право действовать.
Источники и подтверждения
Дата источника: 16 окт. 2026 г. · Источник проверен: 20 окт. 2026 г.
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.