FusionNet: 완전한 주의를 통한 융합 및 기계 이해 적용

본 논문에서는 기존의 주의 메커니즘을 세 가지 관점에서 확장한 새로운 신경망 구조인 FusionNet(융합넷)을 소개합니다. 첫째, 단어 수준 임베딩에서부터 가장 높은 의미 수준 표현까지 주의 정보를 특성화하기 위한 "단어의 역사"라는 새로운 개념을 제시합니다. 둘째, "단어의 역사" 개념을 더 효과적으로 활용하는 개선된 주의 점수 함수를 도입합니다. 셋째, 하나의 텍스트(예: 질문) 내에 포함된 완전한 정보를 층별로 포착하고 이를 다른 텍스트(예: 문맥 또는 본문)에 활용하기 위한 완전 인식 다중 수준 주의 메커니즘을 제안합니다. 우리는 FusionNet을 스탠퍼드 질문 답변 데이터셋(SQuAD)에 적용하였으며, 작성 시점(2017년 10월 4일) 기준 공식 SQuAD 리더보드에서 단일 모델과 앙상블 모델 모두 1위를 차지하였습니다. 또한, 두 개의 적대적 SQuAD 데이터셋을 통해 FusionNet의 일반화 능력을 검증하였으며, 이는 두 데이터셋 모두에서 새로운 최고 성능(SOTA)을 달성하였습니다: AddSent에서는 최고 F1 지표를 46.6%에서 51.4%로, AddOneSent에서는 56.0%에서 60.7%로 각각 향상시켰습니다.