14일 전

다중 훑기 질문 응답을 위한 추론 체인

Jifan Chen, Shih-ting Lin, Greg Durrett
다중 훑기 질문 응답을 위한 추론 체인
초록

다단계 질문 응답(multi-hop question answering)은 질문에 답하기 위해 텍스트의 다양한 부분에서 정보를 수집하는 능력을 요구한다. 현재 대부분의 접근 방식은 신경망을 사용하여 엔드투엔드(end-to-end) 방식으로 이 작업을 학습하지만, 추론 과정을 명시적으로 표현하지는 않는다. 본 연구에서는 텍스트 내에서 답에 도달하는 일련의 문장을 포함하는 이산적(discrete) 추론 체인을 추출하는 방법을 제안한다. 이후 추출된 체인을 BERT 기반의 질의응답(QA) 모델에 입력하여 최종 답변을 예측한다. 중요한 점은 학습 시에도 진정한(골드) 주석된 체인이나 '지지 사실(supporting facts)'에 의존하지 않는다는 것이다. 대신 이름 있는 실체 인식(NER, Named Entity Recognition)과 공사용어 해소(coreference resolution) 기반의 히ュ리스틱 기법을 활용하여 가상의 골드 추론 체인(퍼스조ลด 체인, pseudogold reasoning chains)을 생성한다. 또한 테스트 시에도 이러한 주석을 필요로 하지 않으며, 모델은 원시 텍스트로부터 체인을 독자적으로 추출하도록 학습된다. 본 방법은 최근 제안된 두 가지 대규모 다단계 질문 응답 데이터셋인 WikiHop과 HotpotQA에서 검증되었으며, WikiHop에서는 최신 기준(SOTA, state-of-the-art) 성능을 달성하고, HotpotQA에서도 뛰어난 성능을 보였다. 분석 결과, 높은 성능을 내기 위해 중요한 체인의 특성들이 확인되었다. 특히, 추출을 순차적으로 모델링하는 것이 중요하며, 각 후보 문장을 맥락 인식적인 방식으로 처리하는 것도 필수적임을 밝혔다. 더불어 인간 평가 결과, 본 연구가 추출한 체인은 인간이 높은 자신감을 가지고 답변을 도출할 수 있도록 도와줌을 보여주었으며, 이는 다단계 질문 응답 작업에서 강력한 중간 추상화(middle abstraction)로서의 잠재력을 지닌다는 것을 시사한다.

다중 훑기 질문 응답을 위한 추론 체인 | 최신 연구 논문 | HyperAI초신경