MAFiD: 테이블형 및 텍스트 데이터에 대한 질문 응답을 위한 디코더 내 융합 기반 이동 평균 기능

표와 텍스트에 대한 질문 응답(QA)을 위한 Transformer 기반 모델은 표와 텍스트 요소를 포함하는 ‘긴’ 하이브리드 시퀀스에 직면하며, 이로 인해 장거리 추론 문제를 겪는다. 장거리 추론을 해결하기 위해 우리는 병합-디코더(Fusion-in-Decoder, FiD)와 지수 이동 평균(Exponential Moving Average, EMA)을 광범위하게 활용하며, {underline{M}oving {underline{A}verage Equipped {underline{F}usion-{underline{i}n-{underline{D}ecoder ({textbf{MAFiD})를 제안한다. FiD를 기본 아키텍처로 삼아 MAFiD는 동질적 데이터의 {textit{독립적 인코딩}과 {textit{단일 행} 및 {textit{다중 행}의 이질적 추론을 통합하여 다양한 수준의 추론을 수행한다. 이 과정에서 {textit{게이트형 크로스 어텐션 레이어}를 사용하여 다양한 추론 방식에서 생성된 세 가지 유형의 표현을 효과적으로 통합한다. HybridQA 데이터셋에 대한 실험 결과에 따르면, MAFiD는 블라인드 테스트 세트에서 정확도(EM)와 F1 스코어를 각각 1.1점과 1.7점 향상시켜 최신 기술 수준의 성능을 달성하였다.