2달 전

질의 응답을 위한 동적 공동 주의 네트워크

Caiming Xiong; Victor Zhong; Richard Socher
질의 응답을 위한 동적 공동 주의 네트워크
초록

질문 응답을 위한 여러 딥 러닝 모델이 제안되었습니다. 그러나 이러한 모델들은 단일 패스 특성 때문에 잘못된 답변에 해당하는 국부적 최대값에서 회복할 수 있는 방법이 없습니다. 이 문제를 해결하기 위해, 우리는 질문 응답을 위한 동적 공동 주의 네트워크(Dynamic Coattention Network, DCN)를 소개합니다. DCN은 먼저 질문과 문서의 상호 의존적인 표현을 융합하여 양쪽 모두의 관련 부분에 집중합니다. 그런 다음 동적 포인터 디코더가 가능한 답변 구간들을 반복적으로 탐색합니다. 이 반복 절차는 모델이 초기에 잘못된 답변에 해당하는 국부적 최대값에서 회복할 수 있도록 합니다. 스탠퍼드 질문 응답 데이터셋에서 단일 DCN 모델은 이전 최고 성능(F1 점수 71.0%)을 75.9%로 향상시키며, DCN 앙상블은 F1 점수 80.4%를 달성하였습니다.

질의 응답을 위한 동적 공동 주의 네트워크 | 최신 연구 논문 | HyperAI초신경