언급 메모리: 엔터티 언급 주의를 통한 텍스트 지식의 트랜스포머 통합

자연어 이해 과제, 예를 들어 개방형 도메인 질문 응답은 여러 출처에서 사실 정보를 검색하고 통합하는 것이 종종 필요하다. 우리는 대규모 텍스트 코퍼스의 반파라메트릭 표현을 트랜스포머 모델에 통합함으로써 이 문제를 해결할 수 있다고 제안한다. 구체적으로, 본 연구에서 제안하는 방법은 코퍼스 내 모든 엔티티 언급에 대한 밀집 벡터 표현을 담은 테이블인 '언급 메모리(mention memory)'를 활용하여 지식을 표현한다. 제안된 모델인 TOME은 입력 문장 내 각 엔티티 언급이 언급 메모리에 접근할 수 있는 내부 메모리 레이어를 갖춘 트랜스포머 모델이다. 이 접근법은 단일 트랜스포머 모델 내에서 다양한 출처의 정보를 통합하고 추론할 수 있도록 한다. 1억 5천만 개의 위키백과 언급을 포함하는 메모리를 사용한 실험 결과, TOME은 HoVer 및 FEVER와 같은 주장 검증 벤치마크와 여러 엔티티 기반 질의응답 벤치마크에서 뛰어난 성능을 보였다. 또한, 직접적인 감독 없이도 모델이 정보성 높은 언급에 주의를 기울이는 것을 확인할 수 있었다. 마지막으로, 모델이 재학습 없이 메모리만 업데이트함으로써 새로운 미사용 엔티티에 대해 일반화할 수 있음을 입증하였다.