深度解读 · 约 4 分钟阅读
AWS 微调 GPT-OSS-20B：输出语言合规与推理正确性必须分开看
一组小规模多语实验展示 SFT 和 GRPO 各自的作用，也暴露单语言回退及外推限制。
- 本站发布
- 原文发布
- 核实时间
AWS 于 10 月 20 日介绍在 SageMaker HyperPod 上以 LoRA 微调 GPT-OSS-20B，让生成的推理文本与最终答案遵循指定语言。这是定制实验，不是新底座模型发布。核心结果衡量输出用了什么语言，不能写成数学正确率、事实准确性或真实推理忠实度提升。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 50 个用例中，基础模型有 11/50 次推理文本语言符合要求，SFT 后为 50/50；答案语言由 SFT 后 31/50 增至 GRPO 后 35/50。
- 答案语言增加 8 个百分点，也就是四个用例；意大利语由 60% 降至 40%，并非所有语言都改善。
先看 50 个用例到底测量什么
任务要求生成的推理文本和最终答案都使用英语、法语、德语、西班牙语、意大利语中的指定语言。评估是十道数学或逻辑题分别覆盖五语，共 50 个用例；所述训练数据约有 949 个训练样例和 50 个验证样例。两个主要指标分别判断推理段与答案段是否使用目标语言，不判断数学解答是否正确。基础模型推理语言合规率 22%，来自全部英语样例和一个德语样例。法、西、意在这份测试里没有成功样例，说明观察到行为缺口，却不证明模型为目标行为赋予严格零概率。
SFT 学到的行为也分阶段
监督微调采用 LoRA rank 8、alpha 16，训练 1000 步，使用四台 ml.g6e.12xlarge 上的 16 张 L40S 48GB，并配置 FSDP 分片、bf16 和梯度检查点。AWS 报告约第 200 步推理文本语言合规达到 100%，但第 1000 步答案语言仍只有 62%。因此“学会目标语言”必须说明是哪个输出部分、哪一份评估集。GPT-OSS 初始 SFT 与 GRPO 使用 TRL，底层包含 HyperPod EKS 与 FSx for Lustre；后面的 Qwen 对照采用不同训练栈，不能把两套配置当成可互换的性能测量。
GRPO 的总体改善伴随语言取舍
实验从 SFT 检查点出发，合并适配器后再加 rank 8、alpha 16 的新 LoRA，每个提示生成八个候选。奖励重点是答案语言 ±5、推理语言 ±1.5，再加较小的简短性项。GRPO 在同组候选之间比较奖励，偏向相对更好的输出，因此候选里是否存在有用差异很关键。选定结果保持推理语言 100%，把答案语言从 62% 提到 70%。法语 60→70%、德语 60→80%、西语 30→60%、英语保持 100%，意大利语却 60→40%。每语只有十例，一例就影响十个百分点。结果支持有限的总体优化，而不是普遍多语提升。
对照检验优化空间，不证明全球上限
AWS 另报一项内部 Qwen2.5-7B-Instruct 对照，使用 veRL、Ray、KubeRay 和 vLLM。多语任务中，SFT 到 GRPO 的答案语言为 38→44%，推理语言为 96→98%；200 例 GSM8K 上，基础模型和第 30 步 GRPO 都是 181/200，即 90.5%。作者把没有增长与候选组缺少相对奖励信号联系起来，但这不能证明模型达到普遍质量天花板，也不证明其他 GRPO 设置必然失败。投入训练资源前，应检查候选多样性、奖励定义和目标语言回退，并使用独立定义的验收集。本站没有训练模型、运行这些清单或付费调用复现结果。
有什么影响
AISubHub 分析：应先定义行为缺口再选择适配方法，并逐语检查失败类型。总体指标上升，可以与业务最重要语言的回退同时发生。
限制与可用性
这些是 AWS 自报实验，非本站测量。小规模语言合规测试不能证明普遍推理质量、广泛语言覆盖或训练经济性；原文称另一项 Qwen 对照的仓库尚未公开。
来源与证据
原文发布: · 核实时间:
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。