초록
사실 확인 시스템은 일반적으로 설명 가능성이 부족한 신경망 분류기를 사용하여 진위 여부를 예측한다. 본 논문은 ProoFVer를 제안하며, 이는 seq2seq 모델을 활용하여 자연스러운 논리 기반 추론(증명)을 생성한다. 이러한 증명은 주장(Claim)과 검색된 증거 사이의 구간 간 어휘적 변형을 포함하며, 각 변형은 자연 논리 연산자로 표시된다. 주장의 진위는 이러한 연산자들의 순서에만 기반하여 결정되므로, 이 증명은 충실한 설명(faithful explanation)이 되며, 이로 인해 ProoFVer는 본질적으로 충실한 시스템이 된다. 현재 ProoFVer는 FEVER 리더보드에서 가장 높은 레이블 정확도와 두 번째로 높은 점수를 기록하고 있다. 또한, 반사적(Counterfactual) 예제를 포함한 데이터셋에서 다음으로 우수한 모델보다 13.21% 포인트 높은 성능을 보이며, 뛰어난 강건성을 입증했다. 설명의 측면에서 볼 때, 이러한 증명은 주의 기반 강조(attention-based highlights)보다 인간의 추론과 더 높은 일치도를 보이며, 증거를 직접 사용하는 것보다 인간이 모델의 결정을 더 정확히 예측할 수 있도록 도움을 준다.