SG-Net: 구문 안내 기계 독해 이해

기계 독해 이해력에 있어 세부 정보와 긴 문장에서 언어 지식을 효과적으로 모델링하고 노이즈를 제거하는 능력은 성능 향상을 위해 필수적입니다. 전통적인 주의(attention) 모델들은 명시적인 제약 없이 모든 단어에 주의를 기울이는 것이 불필요한 단어들에 대한 부정확한 집중을 초래합니다. 본 연구에서는 더 나은 언어학적 동기를 부여하기 위해 주의 메커니즘에 명시적인 구문론적 제약을 통합하여 구문론으로 안내되는 텍스트 모델링을 제안합니다. 구체적으로, Transformer 기반 인코더를 사용하는 자기 주의 네트워크(self-attention network, SAN)에서 우리는 관심 있는 구문 의존성(syntactic dependency of interest, SDOI) 설계를 도입하여 구문론으로 안내되는 자기 주의(Syntax-guided self-attention)를 갖는 SDOI-SAN을 형성합니다. 이어서, 구문론 안내 네트워크(Syntax-guided network, SG-Net)는 이 추가적인 SDOI-SAN과 원래 Transformer 인코더의 SAN을 이중 컨텍스트 아키텍처로 구성하여 더 나은 언어학적으로 영감받은 표현을 제공합니다. 그 효과성을 검증하기 위해, 제안된 SG-Net은 Transformer 인코더를 기반으로 하는 대표적인 사전 학습 언어 모델인 BERT에 적용되었습니다. SQuAD 2.0 및 RACE와 같은 유명 벤치마크에서 수행된 광범위한 실험 결과, 제안된 SG-Net 설계가 강력한 베이스라인보다 실질적인 성능 향상을 달성하는데 도움이 됨을 보여주었습니다.