초록
대부분의 읽기 이해 방법은 단일 문장, 단락, 또는 문서를 사용하여 답변할 수 있는 쿼리에 한정됩니다. 모델이 분리된 텍스트 증거들을 결합할 수 있도록 하는 것은 기계적 이해 방법의 범위를 확장시킬 것입니다. 그러나 현재 이러한 능력을 훈련하고 테스트하기 위한 자원이 존재하지 않습니다. 우리는 다중 문서에 걸친 텍스트 이해 모델 개발을 촉진하고 기존 방법들의 한계를 조사하기 위한 새로운 작업을 제안합니다. 우리의 작업에서, 모델은 증거를 찾고 결합하는 것을 배우며 - 효과적으로 다단계 추론(다단추론)을 수행합니다. 이 작업을 위한 데이터셋을 생성하기 위해, 쿼리-답변 쌍과 주제적으로 연관된 문서들의 컬렉션을 주어진 상태로 방법론을 설계하였습니다. 두 개의 서로 다른 영역에서 유도된 데이터셋이 있으며, 잠재적인 함정들을 파악하고 이를 회피하는 전략들을 제시하였습니다. 우리는 두 가지 경쟁력 있는 기존 모델을 평가하였으며, 그 중 하나가 문서 간 정보를 통합할 수 있음을 발견하였습니다. 그러나 양 모델 모두 관련 정보 선택에 어려움을 겪고 있으며, 관련성이 보장된 문서를 제공하면 성능이 크게 향상되는 것으로 나타났습니다. 이들 모델은 여러 강력한 베이스라인보다 우수한 성능을 보였지만, 최고 정확도는 인간의 성능(74.0%)에 비해 42.9%로 여전히 큰 개선의 여지가 있습니다.