身份解析评估:混合大模型成本降超四倍
Hightouch团队近期发布实验结果,验证大语言模型和决策模型在身份解析结果质检中的可行性。身份解析是企业将分散的客户记录映射为真实个人的关键流程,直接影响个性化营销、客户画像与分析。由于真实数据中存在拼写错误、地址变更、同一家族信息混用等噪声,系统可能出现过度合并,即将多人错误识别为同一身份,而企业通常难以快速评估这类错误率。传统人工审核每小时仅能处理约五十个身份样本,且要精准估计低频错误需要大量抽样。 为寻找可规模化质检方案,Hightouch使用模拟真实城镇居民记录的数据集,构建一千个身份样本,其中一半为正常身份,一半为过度合并身份,并加入政府普查、税表、福利项目等来源常见的数据错误。团队测试了Claude Opus 5.5、Gemini 3.1 Pro、GPT-6 Sol、GPT-6 Luna决策API和Jev等模型。结果显示,在较简单测试中,Opus准确率达到99.0%,但每千个身份成本为3.86美元;Luna在调整阈值后准确率达到97.3%,成本仅约0.10美元;Jev准确率为95.7%,成本约0.05美元。 团队进一步发现,模型置信度校准显著影响混合评估效果。Luna在复杂案例中容易过度自信,而Jev的置信度分布更合理。基于此,Hightouch采用Jev先判断、再将部分不确定样本转交Opus复核的混合架构。在较难测试中,该方案达到95.3%准确率,接近单独使用Opus的95.1%,同时成本降至每千个身份2.94美元,较单独Opus的5.39美元明显下降,并超过四倍成本优势。该研究表明,借助低成本决策模型与高准确率大模型的组合,企业可在保持质量的同时显著降低身份解析评估成本,并提升数据维护效率。
