레이블 임베딩을 활용한 공통 주의력 네트워크를 이용한 텍스트 분류

기존의 텍스트 분류 방법 대부분은 매우 구분력 있는 텍스트 표현을 추출하는 데 초점을 맞추고 있으나, 이러한 방법은 일반적으로 계산 효율성이 낮은 편이다. 이 문제를 완화하기 위해 레이블 임베딩 프레임워크가 제안되었으며, 이는 레이블-텍스트 주의 메커니즘을 활용하여 레이블 정보를 직접적으로 사용해 텍스트 표현을 구성함으로써 더 효율적인 텍스트 분류를 가능하게 한다. 비록 이러한 레이블 임베딩 방법들이 희망적인 성과를 거두고 있지만, 레이블 정보를 더 효과적으로 활용할 수 있는 방법에 대해 여전히 탐색의 여지가 크다. 본 논문에서는 텍스트-레이블 주의 메커니즘을 활용하여 텍스트에 의해 주의를 받는 레이블 표현을 추가로 구축함으로써 레이블 정보를 보다 효과적으로 활용하고자 한다. 이를 위해 텍스트와 레이블을 상호 주의를 통해 함께 인코딩하는 Coattention Network with Label Embedding(CNLE)을 제안한다. 이를 통해 모델은 텍스트와 레이블 양쪽에서 관련된 부분에 대해 동시에 주의를 기울일 수 있다. 실험 결과, 제안한 방법은 7개의 다중 클래스 분류 벤치마크와 2개의 다중 레이블 분류 벤치마크에서 기존 최상위 성능을 달성한 방법들과 비교해 경쟁력 있는 결과를 얻었다.