Command Palette
Search for a command to run...
通过自一致性训练提升小型多模态推理模型的能力以匹配大型模型
通过自一致性训练提升小型多模态推理模型的能力以匹配大型模型
Cheng Tan extsuperscript1,4,5 extsuperscript* Jingxuan Wei extsuperscript2,3 extsuperscript* extsuperscript** Zhangyang Gao extsuperscript1,4,5 extsuperscript* Linzhuang Sun extsuperscript2,3 Siyuan Li extsuperscript1,4,5 Ruifeng Guo extsuperscript2,3 Bihui Yu extsuperscript2,3 Stan Z. Li extsuperscript4 extsuperscript** extsuperscript@
摘要
多模态推理是一项具有挑战性的任务,需要模型在多种模态之间进行推理以回答问题。现有的方法通过将语言和视觉模态整合到一个两阶段推理框架中,将理由生成与答案推断分开,取得了一定的进展。然而,这些方法往往由于生成的理由质量不足而表现不佳。在这项工作中,我们深入探讨了理由在模型推理中的重要性。我们观察到,当理由完全准确时,模型的准确性显著提高,这突显了高质量理由生成的必要性。受此启发,我们提出了MC-CoT(Multi-Choice Chain-of-Thought),一种自一致性训练策略,该策略生成多个理由和答案,并通过投票过程选择最准确的一个。这种方法不仅提高了生成理由的质量,还使得答案更加准确和鲁棒。通过广泛的实验,我们证明了我们的方法在各种基准测试中显著提升了模型性能。值得注意的是,即使较小的基础模型,在配备了我们提出的方法后,也能达到与较大模型相当的结果,展示了我们的方法在利用高质量理由以改进多模态推理方面的潜力。代码可在 https://github.com/chengtan9907/mc-cot 获取。