StepGame: 텍스트 내에서 강건한 다단계 공간 추론을 위한 새로운 벤치마크

자연어 내 공간 관계를 추론하는 능력은 지능 시스템이 가져야 할 핵심적인 역량이다. bAbI 데이터셋은 이 분야와 관련된 과제(과제 17 및 19)를 반영하려고 시도하지만, 여러 제한점이 존재한다. 가장 중요한 점은 이러한 과제들이 고정된 표현에 국한되어 있으며, 해결하기 위해 요구되는 추론 단계의 수가 제한적이며, 불필요하거나 중복된 정보를 포함한 입력에 대한 모델의 강건성(로버스트성)을 테스트하지 못한다는 점이다. 본 논문에서는 텍스트 내에서 강건한 다단계 공간 추론을 가능하게 하기 위해 새로운 질문-응답 데이터셋인 StepGame을 제안한다. 실험 결과, bAbI 데이터셋에서 최상의 성능을 보였던 최신 모델들이 StepGame 데이터셋에서는 어려움을 겪는 것으로 나타났다. 더불어, 공간 추론 과제에 특화된 텐서 곱 기반 메모리 증강 신경망(TP-MANN)을 제안한다. 두 데이터셋에 대한 실험 결과를 통해 제안한 모델이 모든 기준 모델보다 우수한 일반화 능력과 강건성을 보였음을 확인하였다.