2달 전

트리 기반 합성곱을 이용한 차별적 신경망 문장 모델링

Lili Mou; Hao Peng; Ge Li; Yan Xu; Lu Zhang; Zhi Jin
트리 기반 합성곱을 이용한 차별적 신경망 문장 모델링
초록

본 논문에서는 구별적인 문장 모델링을 위해 트리 기반 합성곱 신경망(TBCNN, Tree-based Convolutional Neural Network)을 제안합니다. 우리의 모델은 문장의 구성 트리(constituency trees) 또는 의존 관계 트리(dependency trees)를 활용합니다. 트리 기반 합성곱 과정은 문장의 구조적 특징을 추출하며, 이러한 특징들은 최대 풀링(max pooling)을 통해 집계됩니다. 이러한 아키텍처는 출력층과 하부 특징 검출기 사이에 짧은 전파 경로를 제공하여 효과적인 구조적 특징 학습 및 추출을 가능하게 합니다. 우리는 감성 분석(sentiment analysis)과 질문 분류(question classification) 두 가지 작업에서 우리의 모델을 평가하였습니다. 두 실험 모두에서 TBCNN은 기존의 신경망 및 전용 특징/규칙 공학(dedicated feature/rule engineering)을 포함한 이전 최고 수준의 결과를 초월하였습니다. 또한, 우리는 트리 기반 합성곱 과정의 시각화에 노력하였으며, 이를 통해 우리의 모델이 어떻게 작동하는지 이해할 수 있는 통찰력을 제공하였습니다.

트리 기반 합성곱을 이용한 차별적 신경망 문장 모델링 | 최신 연구 논문 | HyperAI초신경