简讯 · 约 1 分钟阅读
Transformers 5.20.2 修复生成输入类型与专家梯度问题
这次维护补丁处理多模态输入转换、BF16 专家梯度、模态声明和一次数据复制。
- 本站发布
- 原文发布
- 核实时间
Hugging Face 于10月19日发布 Transformers 5.20.2。原始版本说明列出四项修复，并非新模型首发。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 生成流程中的 prepare_inputs_for_generation 保留输入原类型，修复可能影响多模态模型的问题。
- 修复 bfloat16 专家并行下 ep_size < fsdp_size 时专家梯度为零的问题。
- 此前错误报告仅支持文本输入的视觉语言模型，现在声明其真实输入模态。
- eager_mask 路径避免一次主机到设备的数据复制。
有什么影响
维护者可针对受影响的生成和分布式训练流程重新做回归检查。本站认为，这次升级应主要看兼容性与正确性，而不是把补丁当作新的模型能力分数。
限制与可用性
上述内容是上游修复声明，本站未运行该版本。说明没有量化提速，也不能据此保证所有多模态或分布式工作负载都已修复。
来源与证据
Hugging Face Transformers v5.20.2 release notes
原文发布: · 核实时间:
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。