텍스트 분류를 위한 신경망 주의 메커니즘 기반 엔티티 가방 모델(Neural Attentive Bag-of-Entities Model)

본 연구에서는 지식 기반의 엔티티를 사용하여 텍스트 분류를 수행하는 신경망 모델인 Neural Attentive Bag-of-Entities 모델을 제안합니다. 엔티티는 텍스트에서 의미를 포착하는 데 유용한 명확하고 관련성이 높은 의미 신호를 제공합니다. 우리는 사전 기반의 간단한 고소환율 엔티티 검출 방법을 사용하여 문서 내의 엔티티를 검출하고, 이를 새로운 신경 주의 메커니즘과 결합하여 모델이 소수의 명확하고 관련성이 높은 엔티티에 집중할 수 있도록 합니다. 본 연구에서는 20 Newsgroups와 R8 데이터셋이라는 두 개의 표준 텍스트 분류 데이터셋 및 트리비아 퀴즈 게임을 기반으로 한 인기 있는 사실형 질문 응답 데이터셋을 사용하여 제안된 모델의 효과성을 검증하였습니다. 그 결과, 본 모델은 모든 데이터셋에서 최신 연구 성과(state-of-the-art results)를 달성하였습니다. 제안된 모델의 소스 코드는 온라인에서 https://github.com/wikipedia2vec/wikipedia2vec에서 확인할 수 있습니다.