2달 전

확률적 답변 네트워크를 이용한 기계 독해 이해

Xiaodong Liu; Yelong Shen; Kevin Duh; Jianfeng Gao
확률적 답변 네트워크를 이용한 기계 독해 이해
초록

우리는 기계 독해 이해에서 다단계 추론을 시뮬레이트하는 간단하면서도 강건한 확률적 답변 네트워크(SAN, Stochastic Answer Network)를 제안합니다. 이전 연구인 ReasoNet이 강화 학습을 사용하여 단계 수를 결정한 것과 비교할 때, 본 연구의 독특한 특징은 신경망의 답변 모듈(최종 계층)에서 훈련 중에 일종의 확률적 예측 드롭아웃을 사용하는 것입니다. 우리는 이 간단한 트릭이 강건성을 개선하고 스탠퍼드 질문 답변 데이터셋(SQuAD), 적대적 SQuAD, 그리고 마이크로소프트 기계 독해 이해 데이터셋(MS MARCO)에서 최신 연구 결과와 경쟁력 있는 성능을 달성함을 보여줍니다.