지식 집약형 자연어처리 작업을 위한 효율적인 메모리 증강형 트랜스포머

외부 지식에의 접근은 질문 응답 및 대화와 같은 다양한 자연어 처리 작업에 있어 필수적이다. 기존의 방법들은 지식을 모델 파라미터에 저장하는 파라미터 기반 모델을 사용하거나, 외부 지식 소스에 접근할 수 있는 검색 보강형 모델을 활용한다. 파라미터 기반 모델과 검색 보강형 모델은 계산 효율성과 예측 정확도 측면에서 서로 보완적인 강점을 지닌다. 이러한 두 접근 방식의 장점을 결합하기 위해, 우리는 효율적인 메모리 보강형 트랜스포머(Efficient Memory-Augmented Transformer, EMAT)를 제안한다. EMAT은 외부 지식을 키-값 메모리 형태로 인코딩하고, 메모리 쿼리 시 빠른 최대 내적 곱 탐색(maximum inner product search)을 활용한다. 또한, EMAT이 정보성 있는 키-값 표현을 인코딩하고, 다수의 메모리 슬롯을 트랜스포머에 암묵적으로 통합하는 전략을 학습할 수 있도록 하는 사전 훈련 작업을 도입하였다. 다양한 지식 집약형 작업, 예를 들어 질문 응답 및 대화 데이터셋에 대한 실험 결과, 본 방법을 단순히 파라미터 기반 모델(T5-base)에 보강함으로써 더 정확한 결과를 얻을 수 있었으며(예: NQ에서 EM 지표가 25.8에서 44.3으로 향상), 동시에 높은 처리량(예: NQ에서 1초당 1000건의 쿼리 처리)을 유지함을 확인하였다. 검색 보강형 모델과 비교했을 때, EMAT는 전반적으로 훨씬 더 빠른 속도로 작동하며, WoW 및 ELI5 데이터셋에서 더 정확한 결과를 도출하였다. 본 연구의 코드와 데이터셋은 https://github.com/uclnlp/EMAT 에서 공개되어 있다.