2달 전

U-Net: 답을 할 수 없는 질문이 있는 기계 독해 이해

Fu Sun; Linyang Li; Xipeng Qiu; Yang Liu
U-Net: 답을 할 수 없는 질문이 있는 기계 독해 이해
초록

기계 독해 이해(Machine Reading Comprehension)에서 답할 수 없는 질문(unanswerable questions)을 처리하는 것은 자연어 처리(Natural Language Processing) 분야의 새로운 도전 과제입니다. 이 문제의 핵심 하위 작업은 질문이 답할 수 없는지 신뢰성 있게 예측하는 것입니다. 본 논문에서는 세 가지 중요한 구성 요소를 포함한 통합 모델인 U-Net을 제안합니다. 이 구성 요소는 답변 포인터(answer pointer), 무답변 포인터(no-answer pointer), 그리고 답변 검증기(answer verifier)입니다. 우리는 보편 노드(universal node)를 도입하여 질문과 그 문맥 패시지를 단일 연속 토큰 시퀀스로 처리합니다. 보편 노드는 질문과 패시지에서 융합된 정보를 인코딩하며, 질문이 답변 가능한지 예측하는 데 중요한 역할을 하며 U-Net의 간결성을 크게 향상시킵니다. 최신 파이프라인 모델들과 달리, U-Net은 엔드투엔드 방식으로 학습될 수 있습니다. SQuAD 2.0 데이터셋에 대한 실험 결과는 U-Net이 효과적으로 질문의 무답변성을 예측하고, SQuAD 2.0에서 F1 점수 71.7을 달성함을 보여줍니다.

U-Net: 답을 할 수 없는 질문이 있는 기계 독해 이해 | 연구 논문 | HyperAI초신경