초록
우리는 기계 이해(MC)를 위한 새로운 빠른 조합형 인코더인 MRU (Multi-Range Reasoning Units)를 제안합니다. 제안된 MRU 인코더는 장단기 의존성을 활용하여 게이팅 벡터를 학습하는 매개변수화된 축소 및 확장 계층 시리즈를 실행하는 다중 범위 게이팅 특성을 가지고 있습니다. 우리의 접근 방식의 목표는 다음과 같습니다: (1) 장단기 문맥을 동시에 인식할 수 있는 표현을 학습하고, (2) 문서 내 블록 간의 관계를 모델링하며, (3) 빠르고 효율적인 시퀀스 인코딩입니다. 우리는 제안된 인코더가 독립적으로 사용될 때나 보완적인 구성 요소로 사용될 때 모두 유망한 결과를 보여주며, 이를 세 가지 도전적인 MC 데이터셋인 RACE, SearchQA, NarrativeQA에서 광범위한 실험을 통해 입증하였습니다. 모든 데이터셋에서 매우 경쟁력 있는 성능을 달성하였으며, RACE 벤치마크에서는 재귀적 또는 컨볼루션 계층을 사용하지 않은 상태에서 DFN (Dynamic Fusion Networks)보다 1.5%-6% 더 우수한 성능을 보였습니다. 마찬가지로, LSTM/GRU 계층을 사용하지 않은 상태에서도 SearchQA 벤치마크에서는 AMANDA와 비교해 경쟁력 있는 성능을, NarrativeQA 벤치마크에서는 BiDAF와 비교해 경쟁력 있는 성능을 달성하였습니다. 마지막으로, 표준 BiLSTM 아키텍처에 MRU 인코더를 통합하면 성능이 더욱 향상되어 최신 연구 결과(SOTA)를 달성하였습니다.