초록
문장의 다양한 단계(예: 단어-구-문장)를 정확히 모델링하는 능력은 자연어 처리에서 중심적인 역할을 합니다. 이 목표를 달성하기 위해 우리는 자기 적응적 계층 문장 모델(AdaSent)을 제안합니다. AdaSent는 인접한 구간들의 재귀적 게이트 로컬 조합을 통해 단어에서 구, 그리고 문장으로의 표현 계층을 효과적으로 형성합니다. 우리는 게이팅 네트워크를 통해 동일한 문장의 표현들이 특정 학습 작업(예: 분류)에 참여할 수 있도록 경쟁 메커니즘을 설계하였습니다. 이로써 다른 재귀 모델에서 지속적으로 발생하는 그래디언트 소실 문제를 효과적으로 완화시킬 수 있습니다. 질적 및 양적 분석 결과, AdaSent는 훈련 중 수행해야 하는 작업에 적합한 표현을 자동으로 형성하고 선택할 수 있으며, 5개의 벤치마크 데이터 세트에서 경쟁 모델들보다 우수한 분류 성능을 보였습니다.