小模型专用词汇表优化使推理成本下降77%

达尔玛人工智能团队即将发布词表专精方法相关论文。该公司在自动评分葡萄牙语作文的生产系统中验证，通过重新设计小模型词表，可在不改变基座模型、训练数据和训练配方的前提下，将实测推理成本降低百分之七十七，同时提升任务质量。相关论文仍处评审阶段，数据在发表前可能调整。 团队基于通义千问四十亿参数模型构建评分系统，负责接收作文、提示词和辅助材料，并输出包含评分与评语的结构化结果。由于原生词表面向多语言和通用文本，系统在每个生成步骤都要计算超过十五万个标记概率，而实际仅使用葡萄牙语和固定评分格式。团队据此按生成成本而非出现频率重新选词，将高频字段、评分句式和结构封装合并为更少标记，并把输出层词表从约十五点二万行压缩至约六点五万行。 在高端显卡和高速推理框架上运行五百次测试后，模型平均输出标记由三百五十降至一百零一，推理成本下降百分之七十七，综合评分从零点七零三升至零点八一零。团队还发现，过度压缩评分结果等关键决策标记会损害质量，因此为评分字段保留独立标记后，成本更低且表现更好。 该方法在合同、医学论文、科学论文、新闻和代码五个领域，以及通义千问、谷歌轻模型和开源模型三个模型家族上，均优于现有词表迁移、多词分词和子词合并扩展等方案。研究认为，垂直场景大模型优化可前移到词表设计，通过只保留业务真正需要的文本单元，显著降低小模型服务成本。