深度解读 · 约 5 分钟阅读
Granite Speech5:识别精度、吞吐与说话人归属要分别判断
IBM同时更新三款语音模型,语言方向、吞吐指标和多说话人错误率各有适用边界。
- 本站发布
- 原文发布
- 核实时间
IBM在10月21日介绍全新的Granite Speech5.0 2B,并修订Turbo CTC与4.1 2B Plus。选型先看需要多语转写或翻译、快速处理音频,还是带说话人及时间戳的文字。下述结果来自IBM文章,不是本站运行模型所得。
听读资讯
朗读当前文章,或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理,AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 2B模型列出六种ASR语言,Turbo列出七种;翻译输出普通话不代表支持普通话语音识别。
- 19,870 RTFx描述基准吞吐,Plus表格分别衡量时间、文字及说话人错误,不能混成单一速度或质量结论。
先选需要的输出,再看版本号
三个名称对应不同工作。granite-speech-5.0-2b是面向高精度转写与翻译的新语音语言模型;更新后的granite-speech-5.0-470m-turboctc保留4.7亿参数编码器定位,侧重高吞吐及端侧转写。快速处理音频与生成跨语言文字是不同要求,不能因同属5.0就认为两者能够互相替代。
更新后的granite-speech-4.1-2b-plus面向会议、客服通话等长时多说话人录音。IBM称架构、提示格式和API不变,因此保留4.1名称并将新权重描述为可直接替换。本站分析:会议检索往往还要定位谁在何时说了什么,短音频平均识别成绩不足以包办这些需求,不宜把三款模型压成一个质量排名。
语言方向与词表控制都有边界
2B模型的转写语言为英语、法语、德语、西班牙语、葡萄牙语和日语;翻译支持英语与后五种语言双向互译,另列英语到意大利语及普通话。后两项是翻译输出方向,不会因此给ASR清单增加普通话,也不能推断支持反向翻译。Turbo的七语转写清单则在上述六语之外加入意大利语。
IBM披露39万小时公开训练音频,此外加入针对日语ASR、关键词偏置与翻译的合成数据。文章还介绍语言标识提示、按要求输出标点和大小写,以及最多2,000词的转写与翻译偏置列表。偏置用于引导姓名、产品名或缩写的识别,不保证词表中的词真的被说过。后文Plus测试使用20词列表,不能与2,000词上限混淆。
Conformer优化讲的是吞吐
IBM称通过编译单个Conformer块并在整个堆栈复用计算图,减少预热,并在其报告的相同准确度水平上把Turbo CTC从约12,600提升至19,870 RTFx,约1.6倍。RTFx是逆实时因子,用基准设置下音频时长与处理能力的关系表达吞吐,并不等于单次请求的响应延迟。
高持续吞吐仍可能伴随缓冲、冷启动、批处理或网络等待。文章这组比较没有给出这些端到端环节的延迟,也不保证特定设备达到同样速度。本站据此把图复用视为值得检验的优化机制,而不会将其改写为交互对话必然加快1.6倍。
Plus表格中的错误不能互相代替
4.1 2B Plus的全语音平均时间戳偏移AAS由210.86变为98.54,短语音一行由29.27变为26.20。可见表格未标AAS单位,不能自行补成毫秒。长语音WER为13.53→10.22,词级说话人归属错误WDER为4.40→4.10,带说话人归属的cpWER为30.50→28.48。
20词列表下的偏置词WER为11.79→6.48。IBM将长语音和偏置词改善概括为约24%与45%,说话人相关改善约7%;这些是相对降幅,不是下降相同数量的百分点。例如13.53减10.22是表中WER尺度上的3.31点。时间对齐改善不能替代核对文字是否准确、说话人是否分配正确。
图表矛盾与部署条件应一起留下
IBM静态英语短语音图给2B模型列出5.06%的平均WER,图注称截至10月21日的官方结果;同页嵌入比较的页脚却称截至10月15日、非官方,且仅覆盖公开英语短语音测试集与开放权重模型,iframe说明涉及九个测试集。本文保留日期及官方属性的矛盾,不据读图宣称已独立核实当前官方榜,也不外推多语或长录音表现。
IBM称三款模型均采用Apache2.0并原生支持Transformers,另为2B模型列出vLLM、llama.cpp及Apple Silicon上的mlx-audio。本站分析是先按输出任务选型,再用目标环境的口音、噪声、词汇、时间戳和说话人样本检验。许可证不保证托管成本、生产数据授权、隐私或服务可用性。本站未运行模型,未审阅外链模型卡或试用浏览器演示,公告也没有给出通用生产价格或地区可用性保证。
有什么影响
本站分析:这次更新更有用的变化,是让转写质量、处理容量与带说话人检索形成不同选项;本地评估应分开检查这些结果,不能只拿一个标题分数代替。
限制与可用性
本文解释IBM作者的发布与自报结果,包含其内部不一致的图表标注;不是独立基准、当前排名、生产报价,也不能证明普通话ASR能力。
来源与证据
原文发布: · 核实时间:
AI 辅助采编,依据所列一手来源核实。厂商自报结论注明归属,收录不代表背书。