초록
Pooling은 다양한 문장 표현 및 임베딩 모델의 필수 구성 요소입니다. 본 논문에서는 문장 임베딩을 향상시키기 위한 일반화된 Pooling 방법을 탐구합니다. 우리는 최대 Pooling(max pooling), 평균 Pooling(mean pooling), 그리고 스칼라 자기 주의(scalar self-attention)를 특수한 경우로 포함하는 벡터 기반 다중 헤드 주의(vector-based multi-head attention)를 제안합니다. 제안된 모델은 다중 헤드 주의에서 중복성을 줄이기 위해 적절히 설계된 패널티 항(penalization terms)으로부터 이점을 얻습니다. 우리는 제안된 모델을 자연어 추론(Natural Language Inference, NLI), 저자 프로파일링, 그리고 감성 분류 세 가지 다른 작업에 대해 평가하였습니다. 실험 결과, 제안된 모델은 강력한 문장 인코딩 기반 방법들보다 유의미한 개선을 이루어냈으며, 네 개의 데이터셋에서 최고 수준의 성능을 보였습니다. 제안된 접근 방식은 본 논문에서 논의하는 문제 이상으로 쉽게 구현될 수 있습니다.