문맥에 민감한 합성곱 필터를 활용한 텍스트 처리 학습

최근 합성곱 신경망(CNNs)은 자연어 처리(NLP)의 주요 구성 요소로 부상하고 있습니다. 그러나 그 성공에도 불구하고, 대부분의 기존 NLP에서 사용되는 CNN 모델들은 모든 입력 문장에 대해 동일한 학습된(그리고 정적) 필터 집합을 공유하고 있습니다. 본 논문에서는 텍스트 처리를 위해 작은 메타 네트워크를 사용하여 문맥에 민감한 합성곱 필터를 학습하는 접근 방식을 고려합니다. 메타 네트워크의 역할은 문장이나 문서의 문맥 정보를 입력에 따라 변하는 필터 집합으로 추상화하는 것입니다. 우리는 이 프레임워크를 문장 쌍을 모델링하는 데까지 일반화하여, 상호 의존적인 문장 표현을 포함하기 위한 양방향 필터 생성 메커니즘을 도입하였습니다. 우리 모델은 문맥에 민감한 필터를 사용한 수정된 CNN으로, 온톨로지 분류, 감정 분석, 답변 문장 선택, 동의어 식별 등 네 가지 다른 작업에서 표준 CNN과 어텐션 기반 CNN 베이스라인을 일관되게 능가한다는 것을 벤치마킹 결과로 확인하였습니다. 학습된 문맥에 민감한 필터를 시각화함으로써, 제안된 프레임워크의 효과성을 추가로 검증하고 설명하였습니다.