초록
수년 동안 재귀적 신경망(RvNNs)은 텍스트를 고정 길이 벡터로 표현하는 데 적합하다는 것이 입증되었으며, 여러 자연어 처리 작업에서 좋은 성능을 보여주었습니다. 그러나 RvNNs의 주요 단점은 구조화된 입력이 필요하다는 점으로, 이는 데이터 준비와 모델 구현을 어렵게 만듭니다. 본 논문에서는 평면 텍스트 데이터에서 효율적으로 작업 특화 트리 구조를 학습할 수 있는 새로운 트리 구조의 장단기 기억(LSTM) 아키텍처인 Gumbel Tree-LSTM을 제안합니다. 우리의 모델은 후보들 중 부모 노드를 동적으로 결정하고 이산적인 결정의 그래디언트를 계산하기 위해 Straight-Through Gumbel-Softmax 추정기를 사용합니다. 제안된 모델을 자연어 추론과 감성 분석에 평가한 결과, 우리의 모델은 이전 모델들보다 우수하거나 최소한 유사한 성능을 보였습니다. 또한 우리의 모델이 다른 모델들보다 상당히 더 빠르게 수렴함을 확인하였습니다.