要約
単語の分散表現を学習するための教師なし手法は、今日の自然言語処理（NLP）研究において広く使用されていますが、ラベル付けされていないデータから分散表現を学習する最良の方法については、まだ十分に知られていません。本論文では、そのような表現を学習するモデルの系統的な比較を行いました。我々は、最適なアプローチが目的とする応用に大きく依存することを見出しました。教師ありシステムで使用される表現には、より深い複雑なモデルが好ましいですが、単純な空間距離メトリクスでデコードできる表現空間を構築するには、浅い対数線形モデルが最も効果的です。また、訓練時間、ドメイン移植性、性能のトレードオフを最適化するために設計された2つの新しい教師なし表現学習目標も提案しています。