要約
私たちはバイトレベルの再帰型言語モデルの特性を探究します。これらのモデルは、十分な容量、学習データ、および計算時間を与えられた場合、高次の概念に対応する分離された特徴を含む表現を学習します。特に、単一のユニットが感情分析を行うことを発見しました。これらの表現は非監督的な方法で学習され、スタンフォード感性木バンクの二値部分集合において最先端の性能を達成しています。また、非常にデータ効率的です。わずかな数のラベル付きサンプルを使用するだけで、私たちの手法は完全なデータセットで訓練された強力な基準モデルと同等の性能を示します。さらに、感情ユニットがモデルの生成過程に直接影響を与えることも示しました。その値を単純に正または負に固定すると、対応する正または負の感情を持つサンプルが生成されます。