17 天前
ConvFinQA:探索对话式金融问答中的数值推理链
Zhiyu Chen, Shiyang Li, Charese Smiley, Zhiqiang Ma, Sameena Shah, William Yang Wang

摘要
随着大规模预训练语言模型的快速发展,研究人员在自然语言处理(NLP)任务中取得了前所未有的性能突破,这些任务主要集中于语言模式匹配。当前学术界的研究重心正从语言建模本身,逐步转向模拟人类复杂的推理能力。在本工作中,我们聚焦于金融这一现实世界中涉及复杂数值推理的应用领域。为此,我们提出了一项全新的大规模数据集——ConvFinQA,旨在研究对话式问答中的数值推理链(chain of numerical reasoning)。该数据集在真实对话场景下,对建模长距离、复杂数值推理路径提出了严峻挑战。我们采用神经符号方法与基于提示(prompting)的方法,开展了全面的实验与分析,深入探讨了这两类方法在复杂推理机制上的异同。我们相信,该数据集将为推动下一代研究——即现实世界中复杂推理任务的探索——提供宝贵资源。相关数据集与代码已公开发布于:https://github.com/czyssrs/ConvFinQA。