深度解读 · 约 5 分钟阅读
VocabX：葡语作文评分器为什么要按成本重建词表
Dharma-AI以单一评分任务说明成本加权词表的机制、压缩过度的质量反例，以及真实运行耗时与跨领域估算的证据差别。
- 本站发布
- 原文发布
- 核实时间
Dharma-AI于10月21日介绍VocabX，预览小语言模型的词表专门化研究。最直接的证据来自一套葡语作文评分任务的受控比较；77.0%成本降幅属于该实验设置，不是Qwen厂商发布新型号，也不是托管API宣布降价。
听读资讯
朗读当前文章，或连续收听资讯。
正在准备听读…
设备语音
朗读由浏览器或设备处理，AISubHub 不向音频 API 发送文本。可用语音及锁屏播放能力因设备而异。
继续播放时可能重复一小段。
一分钟速览
- 选择词元时区分系统、用户与输出的服务成本，不把每个减少的词元视为等价。
- 评分器最紧凑的宏词元方案损伤质量；多保留两个输出词元的方案反而取得更好结果。
- 单任务按实测运行耗时计算的成本，与十五种领域及模型组合的估算成本，必须分开阅读。
一、这套评分器究竟在为什么付出成本
作者的生产评分器以Qwen3-4B为基础，接收葡语作文、题目与辅助文本，返回包含分数和评语的JSON。通用词表覆盖大量语言及文体，却把反复输出的结构拆成多个词元；每个生成步骤还要给任务很少用到的条目打分。因此，减少生成步骤和缩小输出评分层，是两种不同的优化目标，不能把运行成本降幅写成整模型缩小比例。
原文解释，预填充可让多个输入词元复用权重读取，逐步解码则还要搬运权重与增长的KV缓存。该评分案例的输出词元成本是输入的7.4倍，比例会随硬件、批次和上下文改变。此规模模型的LM head接近参数总量的10%；词表从151,669项变为64,767项，输出层约15.2万行降到6.5万行，绝非整模型参数减少77%。
二、成本加权怎样改变词元选择
VocabX区分系统提示、用户消息和响应的成本，输出端重复片段可能比同频率输入片段更值得压缩。子词层重建领域词的切分，宏词元层收纳反复出现的较长片段，各自有预算。需要特别说明：原文明说LM head计算项没有进入选择准则；词表规模由替换基础子词词表、限制宏词元额度两步另外控制，不能替作者补成一个全成本目标函数。
五类挖掘器分别寻找长词、整行、表达、完整句和JSON等带标点结构。候选可能重叠，先选了一个片段，另一个最初宣称的节省便未必还能全部兑现。本站理解，这是有预算约束的边际收益问题，而非高频短语清单：必须兼顾重复发生在哪个字段、先前选择覆盖了什么，以及能保留多少条目，不能只看总词元数量。
三、样本没见到，不等于候选没有价值
作者举例，某表达在50,000份文档里出现37次，400份文档的样本只有约26%概率见到它；合同语料中，同样大小的样本只覆盖16.6%的候选。把没见到的候选收益一律归零，可能丢掉有用的专门化机会。这是词表选择的抽样问题，不是模型失败率，也不是作文评分准确率。
方法将候选的全语料节省与已选词元尚未覆盖的份额分开：前者据作者称可精确计数，后者才需要估计。对样本不可见的候选，用可见候选的统计行为代替零值。同样样本、同样预算下，合同词元降幅由44.7%升至52.8%，增加8.1个百分点；它支持该实验内的抽样改动，不保证换一种文档分布仍有相同收益。
四、最短输出为何没有成为最好方案
作者用相同基座、数据、训练配方与种子训练七个版本，只改变分词器；在RTX 5090与vLLM上运行同样500个请求，按实测耗时计算成本。平均输出由350降至101词元，成本降77.0%，bench由0.703升至0.810。该分数合并评分准确性与跑题、违规作文筛查，不是通用模型能力分，也不是本站核验的客户账单。
关键反例是把能力项分数与周围JSON融合成一个宏词元：虽然最紧凑，bench却降到0.689，低于原版0.703。让分数独立出来，每次响应多两个词元，恢复0.810，成本降幅还从融合版73.3%提高到77.0%。压缩把格式与实际判断绑成一步选择；本站分析应保留这种决策边界，以质量门槛检验，而非认定压缩越多就一定越快、判断越可靠。
五、跨任务证据能支持多大范围的结论
扩展比较涵盖合同、医学论文、科学论文、新闻和Python代码五领域，以及Qwen3、Llama-3.1、Gemma-3三家族，共十五组合，使用相同挖掘及测试文档和词表上限。作者报告压缩优于最强对照1.2至9.3个百分点；平均估算成本优势分别为10.2、7.5、13.6个百分点，不能写成十五次真机都省77.0%。合同剪枝版用113,426项达到62.6%词元降幅，对照最佳原位BPE用207,803项达到61.8%。
对照涉及词表迁移、多词分词和原位BPE，但本站未独立读这些论文或复做比较，完整VocabX论文尚待公布。落地需要兼容的分词器、嵌入与输出头，以及相应训练和质量检查，不能从客户端直接替换托管API的词表。语言和格式变化会改变节省及决策行为；应在自身负载下重测耗时与质量，不从研究预览推断产品已开放、许可已明确或通用API降价。
有什么影响
本站分析：词表应与训练、服务配置一起进入专门化实验。验收要同时比较自身任务质量与运行耗时，不能用词元减少直接证明部署更便宜或更可靠。
限制与可用性
这是团队署名的研究预览，论文仍在准备，所报版本尚在审查并可能变化。本站未复现实验，未另读引用论文；结果不建立价格、许可或托管服务兼容性。
来源与证据
AI 辅助采编，依据所列一手来源核实。厂商自报结论注明归属，收录不代表背书。