초록
시퀀스 인코더는 읽기 및 이해를 학습하는 다양한 신경망 아키텍처에서 핵심적인 구성 요소이다. 본 논문에서는 읽기 이해(Reading Comprehension, RC)를 위한 새로운 조합형 인코더를 제안한다. 제안하는 인코더는 빠른 처리 속도를 넘어서 표현력 또한 뛰어나도록 설계되었다. 특히 본 인코더의 핵심적 혁신은 새로운 확장된 조합( dilated composition ) 메커니즘을 활용하여 다중 해상도(multi-granularities)에 걸쳐 명시적으로 모델링하는 점이다. 본 연구의 접근법에서 게이팅 함수는 다중 해상도 시퀀스 정보 간의 관계를 모델링하고 추론함으로써 학습되며, 이는 장기적 및 단기적 정보를 동시에 고려하는 조합형 학습을 가능하게 한다. 우리는 세 가지 RC 데이터셋에서 실험을 수행하여, 제안하는 인코더가 독립적인 인코더로서의 성능은 물론, 보조 구성 요소로서의 활용성에서도 매우 희망적인 결과를 보였다. 실증 결과에 따르면, 본 인코더를 포함한 단순한 Bi-Attentive 아키텍처는 기존의 최고 수준 또는 경쟁력 있는 성능을 달성할 뿐만 아니라, 기존에 발표된 다른 연구들에 비해 상당히 빠른 속도를 보였다.