AISubHub/AI 资讯
研究

深度解读 · 约 5 分钟阅读

FlashMap让Qwen3草稿更快:接受更多token,只是速度账的一半

10月17日原始论文用流映射生成整块草稿,并与同数据重训的基线比较。单请求设定与附录反例决定了结论边界。

本站发布
原文发布
核实时间

FlashMap于10月17日首次提交arXiv,提出把连续流蒸馏成映射,一次或少数几次生成整块草稿。作者报告在Qwen3-8B上比匹配的DFlash基线更快,但不能把这一设定推广为所有模型或在线服务的通用结论。

听读资讯

朗读当前文章,或连续收听资讯。

FlashMap让Qwen3草稿更快:接受更多token,只是速度账的一半

正在准备听读…

设备语音

朗读由浏览器或设备处理,AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。

继续播放时可能重复一小段。

一分钟速览

  • Qwen3-8B实验报告相对重训DFlash平均快7.4%,相对目标模型普通解码的峰值为6.14倍。
  • 主要计时使用单张H200 NVL、并发1、关闭思考、最多2048个新token,没有评估批量在线服务。

真正要算的是每个确认token耗时

推测解码先让小模型提出后续token,再由目标模型一次验证。某处被拒绝后,后面的草稿会丢弃,所以草稿长不一定有用,要看实际能保留多少。论文把每token延迟写成草稿时间加验证时间,再除以接受长度;这里的长度也包含目标模型贡献的一个token。

因此接受率高不必然最快:逐步写草稿的模型可能准确却耗时,并行草稿即使没被接受得最多,也可能速度更好。论文采用的拒绝采样保留目标分布,“无损”说的是这一数学性质,不是承诺答案更真实、更安全或智力更高。

流映射想保住一整块的相关性

DFlash单次草稿对不同位置分别预测,作者认为各自合理的token可能拼成相互不一致的块。FlashMap从高斯噪声出发,借目标隐藏状态引导连续流走向token表示,再用学习的映射把过程压到一次或少数几次计算。

方法先训练流教师,再蒸馏学生映射;自注意力联系草稿位置,交叉注意力读目标特征,目标词嵌入和输出头保持冻结。Qwen3-8B配置中,FlashMap可训练参数为500M,DFlash为1049M,因此解释速度差时也要考虑草稿计算量不同。它是目标模型的专用助手,不是替换目标的通用基础模型。

受控比较具体控制了什么

作者用Open-PerfectBlend的500K样本子集重训DFlash、EAGLE-3,草稿块为16token,EAGLE-3使用相同验证预算。测试九项英文数学、代码、聊天任务,温度为0和1。主要运行环境是SGLang、单张H200 NVL、并发1、关闭思考、输出上限2048token。

在Qwen3-8B的十八组任务与温度配置中,一步FlashMap速度均领先匹配DFlash,平均快7.4%。6.14倍峰值来自温度0的GSM8K,相对的是目标普通解码,不是相对DFlash;同温度Arena-Hard为3.04倍。指标的任务和分母不能省略,否则会把局部峰值误当普遍收益。

附录为什么能约束标题

Qwen3-4B结果不是全面胜出:温度0的GSM8K,一步FlashMap相对目标加速5.14倍,DFlash为5.18倍。两步能增加接受长度,但多一轮草稿也可能降低速度。Qwen3-8B两步在十八组的接受长度都胜DFlash,并不等于各处速度最快。

打乱测试保留各位置边缘行为,却拆掉共同噪声造成的位置关系。接受长度下降说明学习映射保留了一些联合结构,两步比一步恢复更多教师结构。作者同时承认蒸馏仍有差距。本站认为,这种诊断比笼统说“解决了token依赖”更有参考意义。

部署者下一步需要自己测什么

每配置只跑一次,论文没有给标题加速的重复计时置信区间。Wilson区间属于条件接受曲线,不能当成速度区间。研究只含同一系列两个尺寸、英文任务,也没有高并发吞吐结论;树验证附录另用H100,不能与主H200设定混成同一实验。

运营者可以先对齐模型、硬件、输出上限和验证预算,再加入自己的并发与任务分布,测端到端延迟或吞吐及训练、服务成本。这是本站建议的验证路径,不是已测商业节省。论文没有宣布Qwen订阅权益、API单价或目标模型基础能力变化。

有什么影响

本站分析:这是草稿生成方法在特定工作负载上的证据,不是模型智力排名;运营者要把接受长度、草稿耗时与验证耗时一起测。

限制与可用性

本轮完整读v1 HTML及附录、表格,核对首提历史;数据是作者报告,每配置单次运行,本站未复现。其他系列、更大模型与生产批处理仍未测试。

来源与证据

Shen et al. · FlashMap arXiv record and submission history

原文发布: · 核实时间:

补充阅读

FlashMap v1 · complete HTML including appendices A–G

核实时间:

AI 辅助采编,依据所列一手来源核实。厂商自报结论注明归属,收录不代表背书。