Подробный разбор · Около 6 мин чтения
Руководство AWS по многошаговому RL: результат зависит от награды, декодирования и полной стоимости
Пример Wordle на SageMaker AI показывает улучшение gpt-oss-20b, ошибки награды, разные условия оценки и отдельные расходы AgentCore сверх токенов обучения.
- Опубликовано здесь
- Дата источника
- Источник проверен
AWS выпустила последующее практическое руководство по многошаговому обучению с подкреплением в SageMaker AI. Техническая статья от 23 октября обучает gpt-oss-20b игре Wordle и разбирает ошибки награды, эксплуатационные проблемы и условия оценки. Это новые подробности реализации существующего сервиса, а не повторный анонс общей доступности training sessions или выпуск новой базовой модели.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- На 128 отложенных словах AWS сообщает о росте доли решений с 61% до 84% при medium reasoning и temperature 1.0; при low и той же температуре — с 15% до 69%.
- Запуск на 100 шагов включал 105,486 rollout за 12 ч 40 мин; сумма расходов на три вида токенов модели составила $338.50, а около $79 за AgentCore учитываются отдельно.
- Неудачные веса награды поощряли более медленное решение. Итоговые 37% в проверке во время обучения и 84% в оценке рабочего режима получены при разных настройках.
Цель обучения — эпизод целиком, а не образцовый ответ
Агенту с несколькими шагами нужна обратная связь о последовательности решений, а не только ответ для подражания. В архитектуре AWS SageMaker AI отвечает за задание обучения и модель политики, а среда выполнения AgentCore размещает агента Strands, игровую среду и оценку. Агент запрашивает у политики очередное слово, получает отклик Wordle и сообщает одну награду в конце игры. GRPO сравнивает несколько rollout для одного слова и обновляет адаптер LoRA. Пять букв и шесть попыток облегчают объективную оценку; это учебная задача, а не подтверждение рабочего бизнес-процесса.
В примере 640 обучающих слов отделены от 128 отложенных. Секретное слово в каждой строке передаётся среде, но не показывается политике как подсказка ответа. Ни эталонных ответов, ни размеченных траекторий нет. Обучение идёт 100 шагов, по 128 слов за шаг и восемь игр на слово, с low reasoning и temperature 1.0. Это разделение существенно: сигнал обучения дают среда и награда, но правильность их устройства остаётся ответственностью клиента.
Награда может расти при ухудшении нужного поведения
Первый вариант суммировал бонусы после каждой попытки. Проигранная игра могла получить +0.49, решение с первой попытки +0.99, а с третьей +1.61: более длинный путь поощрялся сильнее лучшего результата. Окончательная схема отдаёт приоритет исходу эпизода. Базовая оценка решения снижается от 1.55 на первой попытке до 1.05 на шестой; проигрыш равен −0.5, отсутствие допустимой попытки — −1.5. Соблюдение подсказок, повторы и информационный выигрыш дают меньшие shaping-поправки.
Shaping ограничен интервалом от −1 до 1 и имеет вес 0.04 для решённых игр, 0.15 для остальных. Прежний вес 0.15 для успеха всё ещё мог делать медленное завершение предпочтительным. Его уменьшение разделяет диапазоны соседних успешных исходов и сохраняет худший успех выше порога успеха. AISubHub видит здесь эксплуатационный урок: изучать реальные траектории и проверять соответствие порядка наград желаемому поведению. Рост средней награды сам по себе не доказывает усвоение правильной цели.
Основной прирост зависит от reasoning и сэмплирования
На 128 отложенных словах при medium reasoning и temperature 1.0 базовая модель решает 61%, обученная — 84%, то есть прирост составляет 23 процентных пункта. Значение 84% — среднее двух запусков с 80% и 88%. При low и temperature 1.0 сравнение составляет 15%→69%, или 54 пункта. При temperature 0 график показывает 2%→37% для low и 16%→30% для medium. Это четыре разных условия, а не взаимозаменяемые оценки одного универсального улучшения.
Проверка во время обучения использует low reasoning и фиксированную сервисом temperature 0. Доля решений достигает максимума 48% на шаге 90 и заканчивается на 37%; основной показатель рабочего режима использует medium и сэмплирование. Источник прямо связывает различие с настройками декодирования. В оценках авторов low расходовал на игру на 63–83% меньше sample-токенов, чем medium; это не гарантия такого же сокращения полной стоимости проекта. Отложенная выборка мала, а результаты для произвольных инструментов, языков и бизнес-задач AWS не установила.
Токены обучения — не весь счёт
Описанный запуск на 100 шагов длился 12 ч 40 мин и включал 105,486 rollout. В таблице указаны 491,616,806 prefill-токенов по $0.12 за миллион — $58.99; 159,737,098 sample-токенов по $0.30 — $47.92; и 643,308,554 train-токена по $0.36 — $231.59. Итого $338.50, округлённо около $339. Это прейскурант GPT-OSS-20B в us-east-1 на момент написания статьи. Мы сохраняем символ $, не определяя валюту самостоятельно и не выдавая цифры за актуальное универсальное предложение.
CPU и память AgentCore добавляют отдельно около $79, задания оценки — около $1.20. Prefill включает повторное чтение истории диалога, sample — токены reasoning, а обучение с обратным распространением ошибки является крупнейшей указанной статьёй расходов. Поэтому длинные траектории влияют на несколько счётчиков. Руководство предупреждает, что ресурсы AgentCore, MLflow и S3 могут сохраняться после обучения. AISubHub считает это полезным примером учёта, но не проверяла счёт и не установила полную стоимость всех сохранённых ресурсов и последующего развёртывания.
Сбои среды выполнения могут сорвать корректный эксперимент
Руководство фиксирует ошибки, которые скрылись бы за кратким заявлением о точности. Роли задания нужны доверенный principal job.sagemaker.amazonaws.com и оба разрешения AssumeRole и TagSession. Один декоратор обработчика не запускает сервер: примеру требуются BedrockAgentCoreApp и внешний декоратор entrypoint. Данные, среда выполнения и задание должны находиться в одном Region. Повторное развёртывание среды во время обучения прерывает rollout и может привести к сбою всего задания.
Тридцать два одновременных rollout выявили и истечение срока кэшированных учётных данных. Авторы описывают упреждающее обновление и повторное подписание после ошибки авторизации. Малый бюджет токенов мог не оставить места для вызова инструмента, а слишком высокая скорость обучения — превратить структурированные вызовы в обычный текст. Это опыт реализации, а не гарантия надёжности. Мы прочитали примеры кода в статье, но не устанавливали зависимости, не вызывали API AWS, не запускали smoke test, не обучали адаптер и не воспроизводили исправления.
Что можно перенести за пределы Wordle
Таблица моделей ограничена временем написания: для LoRA указаны Nova2Lite и GPT-OSS-20B в us-east-1 и us-west-2, Gemma4 31B instruction-tuned и Qwen3.6 27B — в us-west-2. Это не подтверждает поддержку всех моделей, регионов и аккаунтов. Последующее руководство также не переанонсирует эти модели или отдельный запуск сервиса training sessions, рассмотренный ранее.
Переносимый принцип — отдельно проверять исход задачи, shaping-стимулы, настройки рабочего режима и полную стоимость ресурсов. Бизнес-процессу понадобятся собственная среда, обоснованная награда и репрезентативная отложенная оценка, прежде чем заявлять о пользе. Мы прочитали всю статью, все таблицы и семь необходимых статических иллюстраций. Связанные документация, статьи, репозиторий и лицензии не проверялись; независимых тестов производительности, цен и безопасности не было. Результаты остаются ограниченным экспериментом AWS с Wordle.
Почему это важно
Руководство даёт конкретные способы проверки проекта многошагового обучения: проверить порядок наград, сравнить одинаковые условия декодирования и учитывать как работу модели, так и среду выполнения агента. Улучшение другого процесса нужно измерять на самом этом процессе.
Ограничения и доступность
AWS сообщает об одном эксперименте Wordle со 128 отложенными словами; основной показатель обученной модели — среднее двух запусков. Мы изучили всё руководство и семь статических иллюстраций, но не связанную документацию, репозитории и лицензии, и не выполняли тестов обучения, API, биллинга или развёртывания. Цены и условия моделей/Region относятся ко времени источника.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.