Подробный разбор · Около 5 мин чтения
Cloudflare объяснила инцидент изоляции кеша GLM-5.3: почему успешного ответа недостаточно
Публикация от 26 октября отделяет утечку августа–сентября от исправлений и еще незавершенной работы над целостностью памяти.
- Опубликовано здесь
- Дата источника
- Источник проверен
26 октября Cloudflare опубликовала отчет о попадании данных одних запросов в ответы на другие в своем развертывании GLM-5.3 на Workers AI. Причиной названы несовпадение емкости кеша и ошибка обработки отказа в SGLang. Сервис восстановили 9 сентября; речь не о новом сбое и не о доказанном дефекте всех развертываний модели.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- По данным Cloudflare, с 27 августа по 9 сентября пострадали 155 ответов, все на запросы длиннее 681 280 tokens. Это число ответов, а не клиентов.
- Заявленному контексту 1 048 576 tokens соответствовал prefill-пул емкостью 681 280. После исправления он вмещает около 2,04 млн; также исправлен путь отказа движка.
- Для раздельных prefill/decode-развертываний рекомендован SGLang v0.5.22 или новее. Охват обнаружения зависит от архитектуры, а дальнейшая работа не является готовой универсальной гарантией.
Дата раскрытия отличается от окна инцидента
Cloudflare датирует воздействие периодом от запуска модели на Workers AI 27 августа до 9 сентября. Исследователь Gadi Evron из Knostic сообщил о проблеме 8 сентября. На следующий день инцидент объявили в 13:22 UTC, публичный доступ ограничили в 14:00, а после изменений и проверки восстановили в 19:40. 26 октября — дата согласованной публикации.
Компания выявила 155 ответов с материалами недавних запросов других клиентов к той же модели. Исключив собственные тесты и тесты исследователя, она сочла время и объем обычным использованием длинного контекста и не нашла свидетельств намеренной эксплуатации. Это не доказывает полного отсутствия злоупотреблений. По ее словам, другие модели Workers AI не пострадали.
Заявленный контекст превышал физическую емкость
В этой конфигурации prefill-GPU обрабатывали запрос и передавали кеш ключей и значений через Mooncake и RDMA на decode-GPU. SGLang определял размер пула по памяти, оставшейся после загрузки весов, тогда как предел контекста задавался отдельно. Так окно в 1 048 576 tokens сосуществовало с пулом всего на 681 280.
Cloudflare признает, что знала о расхождении до запуска, но ожидала безопасного отказа, поскольку тесты длинного контекста возвращали успех. Отчет указывает на пробел: проверялись HTTP-статус и производительность, но недостаточно сами результаты. Описано взаимодействие конфигурации и движка; доказательств бэкдора в весах модели материал не содержит.
Ожидающий отказ запрос оставался активным
Планировщик помечал слишком большой запрос для отклонения и заменял вход заглушкой из одного токена. Однако очередь допуска в раздельной конфигурации проверяла завершение запроса, а не наличие отказа. Ожидающая ошибка не делала эту проверку истинной. Обе стороны принимали запрос, который должен был завершиться ошибкой, и продолжали передачу кеша.
На схеме показаны восемь зарезервированных страниц: новый запрос записывал одну, а decode мог читать еще семь старых. Это иллюстративные числа, не статистика инцидента. Клиент мог получить HTTP 200, правдоподобный учет токенов и связный текст с данными прежних запросов. Успешная выдача ответа не подтверждала правильной изоляции.
Немедленное исправление имело два уровня
По словам Cloudflare, после изменения конфигурации prefill-пул вмещает примерно 2,04 млн tokens, больше контекста 1 048 576. Движок также завершает ожидающий отказ на этапе допуска, до выделения памяти или передачи кеша. Компания сообщает о проверке обеих мер до восстановления доступа. Одно увеличение пула оставляло бы хрупкую зависимость от будущих настроек памяти.
Таблица разделяет первоначальное исправление в v0.5.20, более раннее отклонение в v0.5.21 и дополнительные меры до v0.5.22. Операторам раздельного режима рекомендуют v0.5.22 или новее либо подходящий перенос патчей. Это совет для описанного способа обслуживания и набора исправлений, а не сравнение скорости и не доказательство безопасности любого развертывания по номеру версии.
Незавершенные записи усложняют срок жизни страниц
Отчет разбирает и родственный класс ошибок: отмена запроса не отзывает уже отправленные RDMA-записи. При слишком раннем повторном использовании страниц поздняя запись может повредить другой запрос. В отличие от этой гонки, зависящей от времени, отклоненный запрос данного инцидента детерминированно шел по неправильному пути. Оба случая требуют учитывать владение до завершения всех участвующих операций.
Cloudflare описывает отложенное освобождение в обеих ролях, ограниченные пакеты Mooncake, изменение обработки отключений балансировщиком и проверки развертывания. Фактические пулы советуют измерять после изменения весов, квантования или параллелизма. Checksum и KV Canary пока поддерживают не все архитектуры; нужно подтвердить охват, а не считать каждый запрос проверенным из-за включенного параметра.
Долгосрочная целостность еще не обеспечена полностью
В августе Cloudflare испытывала прототип меток страниц на GLM-5.2. Она сообщает о затратах менее 1% по пропускной способности и хвостовой задержке, но вскоре отключила прототип из-за проблем надежности. Число относится к ограниченному эксперименту, а не действующей защите или универсальной оценке затрат. Обнуление страниц при освобождении остается предварительным предложением.
Контрольная сумма передачи проверяет переход между узлами; проверка владения страницами расширила бы контроль на последующие чтения. Cloudflare также планирует формальную модель распределенного протокола и признает пределы доказательств. Анализ AISubHub: изоляцию, отказ и жизненный цикл следует проверять отдельно, четко различая внедренные меры, прототипы и будущие гарантии.
Почему это важно
Анализ AISubHub: изоляции арендаторов нужны собственные критерии приемки. HTTP-статус, учет токенов и скорость могут выглядеть нормальными при ошибочном владении памятью. Проверки конфигурации и аварийных путей отвечают на другие вопросы, чем тест производительности.
Ограничения и доступность
Масштаб, исправления и отсутствие обнаруженных свидетельств намеренной эксплуатации изложены самой Cloudflare. AISubHub не проводил независимый аудит сервиса или патчей. Отчет не доказывает ни поражение всех GLM-развертываний, ни защищенность любых настроек SGLang от ошибок жизненного цикла кеша.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.