深度解读 · 约 6 分钟阅读
AWS 多轮强化学习指南：奖励设计、解码条件与完整账单都决定结果
SageMaker AI 用 Wordle 展示 gpt-oss-20b 后训练，也揭示奖励函数错误、推理配置差异及训练 token 之外的 AgentCore 成本。
- 本站发布
- 原文发布
- 核实时间
AWS 发布 SageMaker AI 多轮强化学习的后续实操指南。10月23日的技术文章用 gpt-oss-20b 玩 Wordle，解释奖励设计、运行故障和评估条件。这是既有服务的新实施证据，不是再次宣布训练会话普遍可用，也不是基础模型首发。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 128个留出单词上，AWS 报告 medium 推理、temperature1.0时解题率61%→84%；low推理同温度为15%→69%。
- 100步运行历时12小时40分、105,486次rollout，三类模型token费用合计$338.50；AgentCore约$79另计。
- 奖励权重曾偏好更慢解题；训练验证最终37%与服务评估84%的配置不同，不能混成同一口径。
学习目标是整段行动结果
多步智能体需要针对决策序列的反馈，不只是模仿一个答案。SageMaker AI 管训练任务与策略模型，AgentCore 承载 Strands 智能体、环境和评分。智能体请求猜词，接收 Wordle 反馈，游戏结束才报一次奖励；GRPO 比较同词的多次 rollout，更新 LoRA 适配器。五字母、六次机会便于客观评分，但这只是教学任务，不能据此认定业务流程已验证。
样例将640训练词与128留出词分开。每行秘密词只供环境使用，不作为答案提示交给策略模型，也没有目标回复或标注轨迹。训练100步，每步128词、每词8局，采用 low 推理与 temperature1.0。学习信号来自环境和奖励，两者仍须由客户正确设计。
奖励上涨也可能学错目标
最初按每次猜测累加奖励，失败局可得+0.49，首猜解出+0.99，第三猜解出却+1.61，反而偏好更长路径。最终设计让整局结果主导：首猜解出的结果分1.55，第六猜降至1.05；失败−0.5，没有有效猜测−1.5。遵守线索、避免重复及信息增益只作较小修正。
修正值截到−1至1，解出时权重0.04，否则0.15。此前解出也用0.15仍可能奖励慢解；缩小后，相邻成功结果的分数区间分开，最差成功仍高于成功阈值。本站认为，应审阅真实轨迹，检查奖励排序是否符合目标；平均奖励上涨不能单独证明学到了正确行为。
解题率必须连同解码条件阅读
128个留出词上，medium推理、temperature1.0时基础模型61%、训练后84%，增加23个百分点；84%是两次80%、88%的平均。low推理、同温度是15%→69%，增加54点。temperature0时，图中low为2%→37%，medium为16%→30%。这是四种条件，不能任意互换成通用提升。
训练验证使用low推理和服务固定的temperature0，第90步最高48%，最终37%；服务标题数字则用medium和采样。原文明确解释配置差异。作者评估中，low每局采样token比medium少63–83%，不等于总项目成本保证降低同样幅度。留出集较小，不能推及所有工具、语言或业务任务。
训练 token 不是全部账单
100步运行12小时40分，含105,486次rollout。表中491,616,806预填token按每百万$0.12计$58.99；159,737,098采样token按$0.30计$47.92；643,308,554训练token按$0.36计$231.59，合计$338.50，约$339。这是原文写作时us-east-1的GPT-OSS-20B标价，保留$符号，不擅定币种或视为今日通用报价。
AgentCore CPU与内存另约$79，评估任务另约$1.20。预填会重读对话历史，采样包含推理token，反向传播训练是表中最大项，长轨迹影响多种计量。原文还提醒AgentCore、MLflow、S3资源可能在训练后继续保留。本站未核账单，也未确立包含所有遗留资源及后续部署的总成本。
运行故障也会影响实验成立
指南记录了准确率标题之外的失败：任务角色需信任job.sagemaker.amazonaws.com，并允许AssumeRole和TagSession；只有handler装饰器不会启动服务，还需BedrockAgentCoreApp与最外层entrypoint。数据、运行时、任务须同Region；训练期间重新部署运行时会中断rollout，可能使整任务失败。
32个并发rollout还暴露凭据缓存到期问题，作者采用提前刷新和授权失败后重新签名。token预算过小会没有空间调用工具，学习率过大可能把结构化调用变成纯文本。这些是实现经验，不是可靠性保证。本站读了内嵌代码，但未安装依赖、调用API、运行smoke test、训练适配器或复现修复。
哪些经验可以带到其他任务
写作时的LoRA支持表有范围：Nova2Lite与GPT-OSS-20B在us-east-1/us-west-2，Gemma4 31B指令版与Qwen3.6 27B在us-west-2。不能扩成所有模型、Region或账号均支持；这篇后续指南也不是模型或此前训练会话服务的再次首发。
可迁移的是分别检查任务结果、奖励诱因、服务配置和资源总成本。业务流程仍需自己的环境、合理奖励与代表性留出评估才能声称收益。本次完整审读正文、表格和7张必要静图；外链文档、论文、仓库及许可未审，也未独立测试性能、价格或安全性。结果仍是AWS有边界的Wordle实验。
有什么影响
这份指南提供了具体审视路径：检查奖励排序、在相同解码条件下比较，并同时预算模型工作与智能体运行时。能否改善其他流程，仍需针对该流程测量。
限制与可用性
AWS报告的是128留出词的单一Wordle实验，训练后标题解题率为两次运行平均。本站完整审读指南和7张静图，未审外链文档、仓库或许可，未运行训练、API、计费或部署测试；价格及模型/Region条件仅代表来源写作时。
来源与证据
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。