深度解读 · 约 5 分钟阅读
Laplace 3B 在 Trainium2 上跑通：固定状态省下什么，又没有保证什么
i14 与 AWS 的工程报告，需要分清循环状态、优化器通信、训练进度和真实到达负载。
- 原文发布
- 本站发布
- 核实时间
AWS 于10月20日发表工程文章，介绍 i14 的 Laplace 3B 如何通过原生 PyTorch 在 Trainium2 上训练与推理。核心差异是把不断增长的 KV 缓存换成固定循环状态。真正有用的问题不是“所有内存问题是否消失”，而是哪一项资源约束改变了，召回质量与部署成本还需要怎样验证。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 报告给出每序列29.5 MB循环状态；一台 trn2.48xlarge 在1280并发序列下合计输出11544 tokens/秒。前者不是应用全部内存，后者不是每个用户的速度。
- 1000亿tokens是训练配方目标，所报进度约440亿；通信量降低24倍与吞吐提升1.63倍也不能混用。
固定的是注意力状态，不是无限无损记忆
常见 softmax 注意力在推理时随上下文保存更多键和值。Laplace 3B 则用门控线性注意力更新循环矩阵，把过去内容压进每序列29.5 MB的固定状态；注意力训练计算随序列长度由平方量级转成线性量级。可是权重、激活、输入处理和其他运行时缓冲并未消失，因此不能把状态大小当总显存。压缩也改变了可取回的信息，原文明确要求按工作负载验证检索质量。能容纳更长会话，只证明一项资源限制改变，并不证明很久以前的每个细节都可以同样准确地回忆出来。
对齐硬件和减少通信，是两条不同优化路径
团队将 GPU 专用 Triton 注意力核改写成原生 PyTorch 算子，把序列拆成16块、每块128 tokens，与 NeuronCore 缓冲的128分区对齐；来源把14%吞吐改善归于这种映射。Muon 优化器面对的是另一个问题：梯度分片后仍需要跨分片的完整关系。两次 all-to-all 将完整矩阵分配给各设备处理，再把结果送回。每 rank 通信从10.87 GB降至0.45 GB，吞吐从73378提升到119934 tokens/秒。通信下降24倍，并不能宣传成训练速度提高24倍；实际报告的速度改善是1.63倍。
配方目标和已经完成的训练要分开
配置列出30.28亿参数、24层和1000亿 FineWeb-Edu tokens 配方，但展示的训练结果到第84210步，约440亿tokens，并非目标190735步全部跑完。约12万tokens/秒以及下降的训练损失，都属于这个已报告区间。损失稳定有助于判断实现是否正常，却不能替代应用评测，更不能据此推断它胜过所有 Transformer 或可以准确回忆任意事实。本站据此把“自定义架构成功适配硬件”和“对某个业务任务有足够质量”分开看待，后一个问题仍需要独立任务证据。
总吞吐要放回并发配置里理解
推理测试使用一台 trn2.48xlarge 的64个逻辑 NeuronCore，每个副本20个序列，共1280个并发序列。11544输出tokens/秒是它们合计的吞吐，不能分配成每个用户都获得相同速度。所谓状态约小82倍，是相对8192 tokens时一个可比 KV 缓存的特定比较，不是总账单降低82倍。提示从2048增到8192 tokens后，每输出token成本只增0.5%，也只适用于该实验；真实预算仍受输入处理、实例占用、质量要求与利用率影响，不能直接变成任意云端部署的价格承诺。
真实到达会暴露固定批次隐藏的编译成本
新的解码批宽第一次使用时约需11秒编译；在报告的动态测试中，这类步骤只占1.1%，却消耗47.5%的解码时间。将输入补齐到固定宽度消除了这项开销，错峰到达下编译后的改善也不同于固定批次。原文还提醒，BF16 运算重关联会使编译与 eager 输出略有差异，要求精确可复现时可选 eager。本站建议把真实到达分布、尾部等待、数值容差与历史召回一起试验。这是可检验的选型建议，并非本站已经部署、实测节省或证明无需质量取舍。
有什么影响
本站分析：固定状态可改善长期会话的容量规划，但仍要把历史信息召回质量与真实请求到达方式一起测试。模型架构、硬件映射与运行时调度共同决定能否落地，不能只取其中最漂亮的数字。
限制与可用性
我们完整阅读正文与图注，没有运行代码或模型。数字来自 i14/AWS 项目，不是本站实测；原文未建立订阅价格、免费硬件权益、普遍质量优势或生产服务保证。使用的 TorchNeuron Native 属于 beta。
来源与证据
原文发布: 2026年10月20日 · 核实时间: 2026年10月21日
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。