摘要
问答（Question Answering, QA）一直是人工智能（AI）与自然语言处理（NLP）领域长期关注的研究课题，众多研究致力于赋予QA系统接近人类水平的推理能力。为模拟复杂的认知推理过程，当前最先进的QA系统通常结合预训练语言模型（Language Models, LMs）以获取模型中编码的知识，并辅以基于图神经网络（Graph Neural Networks, GNNs）精心设计的模块，在知识图谱（Knowledge Graphs, KGs）上执行推理任务。然而，这些基于GNN的推理模块在推理能力方面仍存在诸多未解问题：它们是否真能完成复杂的推理过程？其结构是过于简单还是过度复杂？为揭开GNN模块的“黑箱”机制，深入探究上述问题，本文对当前最先进的GNN模块在QA任务中的表现进行了系统性剖析与分析。研究发现，即便是一个极为简单的图神经计数器（graph neural counter），在两个广泛使用的QA基准数据集——CommonsenseQA与OpenBookQA上，也能超越所有现有GNN模块的性能表现。这两个数据集高度依赖于知识感知型推理。本研究揭示，当前主流的知识感知型GNN模块可能仅能执行诸如计数等较为基础的推理操作。如何构建真正具备全面推理能力的知识驱动型QA模块，仍是亟待解决的重大挑战。