集成贝叶斯推理:利用小型语言模型在档案匹配任务中实现大语言模型级别的精度
Haru-Tada Sato, Fuka Matsuzaki, Jun-ichiro Takahashi
发布日期: 4/28/2025

摘要
本研究探讨了小型语言模型(SLM)集成在实现与专有大型语言模型(LLM)相媲美的准确性方面的潜力。我们提出了一种新颖的方法——集成贝叶斯推理(EBI),该方法通过应用贝叶斯估计来综合多个SLM的判断,使其能够超越单个模型的性能限制。我们在多种任务(包括日语和英语的能力评估及消费者画像分析)上的实验验证了EBI的有效性。特别地,我们分析了将具有负提升值的模型纳入集成后整体性能提升的案例,并考察了该方法在不同语言间的适用性。这些发现为在有限计算资源下构建高性能人工智能系统,以及有效利用个体性能较低的模型提供了新的可能性。基于现有关于LLM性能评估、集成方法及开源LLM利用的研究,我们讨论了本方法的新颖性与重要意义。