Подробный разбор · Около 3 мин чтения
Опыт AWS с GPT-OSS-20B отделяет язык вывода от правильности рассуждений
Небольшая многоязычная настройка показывает вклад SFT и GRPO, регрессию одного языка и пределы обобщения.
- Опубликовано здесь
- Дата источника
- Источник проверен
Руководство AWS от 20 октября настраивает GPT-OSS-20B через LoRA на HyperPod, чтобы текст рассуждений и ответ следовали заказанному языку. Это адаптация, не новая базовая модель. Результат относится к языку вывода, а не математической, фактической правильности или верности рассуждений.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- На 50 случаях нужный язык рассуждений вырос с 11/50 у базы до 50/50 после SFT. Язык ответа вырос с 31/50 после SFT до 35/50 после GRPO.
- Прирост равен 8 процентным пунктам, четырём случаям; итальянский снизился с 60% до 40%, поэтому улучшились не все языки.
Что измеряют 50 случаев
Задача требует текст рассуждений и ответ на английском, французском, немецком, испанском или итальянском. Десять задач математики и логики на пяти языках дают 50 случаев. Описаны примерно 949 обучающих и 50 валидационных примеров. Метрики проверяют язык двух частей, не математическую правильность решения. Базовые 22% для рассуждений включают все английские случаи и один немецкий. Ноль наблюдаемых успехов на французском, испанском и итальянском указывает на пробел этого теста, но не доказывает строго нулевую вероятность поведения в распределении модели.
SFT учит поведение поэтапно
Использованы LoRA rank 8, alpha 16, 1000 шагов, 16 L40S 48GB на четырёх ml.g6e.12xlarge, FSDP, bf16 и gradient checkpointing. AWS сообщает 100% языка рассуждений примерно у шага 200, но язык ответа на шаге 1000 остаётся 62%. Утверждение о выученном языке требует уточнить часть вывода и набор проверки. SFT и первый GRPO для GPT-OSS используют TRL на HyperPod EKS с FSx for Lustre. Последующий контроль Qwen имеет другой стек; это не взаимозаменяемые измерения производительности.
GRPO улучшает среднее с локальной потерей
От SFT адаптер объединяют и добавляют новый LoRA rank 8, alpha 16, с восемью генерациями на запрос. Награда выделяет язык ответа ±5, рассуждений ±1,5 и меньший компонент краткости. GRPO сравнивает ответы внутри группы и предпочитает относительно лучшие награды; важны полезные различия кандидатов. Выбранный результат сохраняет рассуждения на 100% и повышает ответ 62→70%. Французский растёт 60→70%, немецкий 60→80%, испанский 30→60%, английский остаётся 100%, итальянский падает 60→40%. При десяти случаях на язык один меняет показатель на десять пунктов. Это умеренная общая донастройка, не универсальный языковой прогресс.
Контроль проверяет резерв, не мировой потолок
AWS сообщает внутренний контроль Qwen2.5-7B-Instruct с veRL, Ray, KubeRay и vLLM. От SFT к GRPO язык ответа растёт 38→44%, рассуждений 96→98%. На 200 GSM8K база и GRPO шага 30 дают одинаковые 181/200, или 90,5%. Авторы связывают отсутствие выигрыша со слабым относительным сигналом награды в группах. Это не доказывает глобальный предел качества или неизбежную неудачу другого GRPO. До расходования ресурсов следует проверить разнообразие, награду и языковые регрессии на отдельно определённой приёмке. AISubHub не обучал модель, не запускал манифесты и не оплачивал API для воспроизведения.
Почему это важно
Анализ AISubHub: сначала определить пробел поведения, затем проверять каждый язык и сбой. Общий прирост может сочетаться с регрессией важнейшего языка продукта.
Ограничения и доступность
Это результаты AWS, не наши измерения. Маленькая проверка языка не доказывает общего качества, широкого покрытия или экономичности обучения. Репозиторий отдельного контроля Qwen ещё не был открыт.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.