要約
長年にわたり、再帰型ニューラルネットワーク（RvNNs）はテキストを固定長のベクトルに表現するのに適しており、いくつかの自然言語処理タスクで良好な性能を示してきました。しかし、RvNNsの主な欠点は構造化された入力データが必要であることです。これにより、データ準備とモデル実装が難しくなります。本論文では、Gumbel Tree-LSTMと呼ばれる新しい木構造を持つ長期短期記憶（LSTM）アーキテクチャを提案します。このモデルは、平文データから効率的にタスク固有の木構造を学習します。当モデルは、候補の中から親ノードを選択し、離散的な決定の勾配を計算するためにStraight-Through Gumbel-Softmax推定器を使用します。提案したモデルを自然言語推論と感情分析のタスクで評価し、当モデルが従来のモデルに匹敵または優れた性能を示すことを示しました。また、当モデルが他のモデルよりも著しく高速に収束することも確認しました。