多语言思维能否增强法学硕士的推理能力？

先前的研究表明，大型语言模型表现出明显的“英语偏见”，即当任务以英语呈现时，它们通常表现更好。有趣的是，我们观察到在推理任务中使用某些其他语言可以获得比英语更好的性能。然而，这一现象仍未得到充分探索。在本文中，我们探索了在推理任务中利用多语言能力的上限，表明多语言推理具有显著的潜力（接近 10 Acc@千点）和稳健性（对翻译质量和语言选择差异的容忍度）方面，相比纯英语推理，多语言推理拥有更高的上限。除了分析上限背后的原因及其实现的挑战之外，我们还发现，常见的答案选择方法由于其局限性和偏差而无法达到这一上限。这些见解可以为未来旨在充分挖掘法学硕士（LLM）多语言推理潜力的研究铺平道路。