TORQUE: 시제 순서 질문을 위한 독해 데이터셋

읽기의 핵심 요소 중 하나는 텍스트 속 사건들 간의 시적 관계를 명시적으로 제시되지 않은 경우에도 이해할 수 있어야 한다는 점이다. 그러나 현재의 기계 독해 평가 기준은 시적 현상을 검증하는 질문이 거의 존재하지 않아, 이러한 기준으로 훈련된 시스템은 “[어떤 사건]이 전/후에 어떤 일이 발생했는가?”와 같은 질문에 답할 능력이 없다. 우리는 3,200개의 뉴스 단편과 21,000개의 인간이 생성한 시적 관계를 묻는 질문을 기반으로 구성된 새로운 영어 독해 평가 기준인 TORQUE를 소개한다. 실험 결과, RoBERTa-large는 TORQUE의 테스트 세트에서 정확 일치 정확도(Exact Match) 51%를 기록했으며, 인간 성능보다 약 30% 낮은 수준이다.