
要約
事実検証システムは通常、信頼性予測にニューラルネットワーク分類器を用いるが、その場合説明可能性に欠ける。本論文では、自然論理に基づく推論を証明として生成するseq2seqモデルを用いたProoFVerを提案する。これらの証明は、主張(claim)と取得された証拠(evidence)のスパン間における語彙的変異(lexical mutations)から構成され、それぞれが自然論理演算子でマークされている。主張の信頼性は、これらの演算子の順序に基づいてのみ決定されるため、証明は忠実な説明となる。この性質により、ProoFVerは構造的に忠実なモデルとなる。現在、ProoFVerはFEVERリーダーボードで最高のラベル精度と2番目のスコアを記録している。さらに、反事実(counterfactual)インスタンスを含むデータセットにおいて、次善のモデルよりも13.21ポイントの性能向上を達成しており、その頑健性を示している。説明としての証明は、注意メカニズム(attention-based)による強調よりも人間の推論とより高い類似性を示し、証拠を直接用いる場合よりも、人間がモデルの判断をより正確に予測できるよう支援することが確認された。