セグメンテーション、アテンション、および未来予測によるニューラル言語モデルの改善

一般的言語モデルは、文脈が与えられた場合に次の単語を予測します。本研究では、文脈とその後のフレーズのアライメントを学習することで言語モデリングを改善する方法を提案します。このモデルは、フレーズ分割のための言語的な注釈を必要としません。代わりに、構文的高度（syntactic heights）とフレーズ分割ルールを定義し、モデルが自動的にフレーズを誘導し、そのタスク固有のヘッドを認識し、教師なし学習によってフレーズ埋め込み（phrase embeddings）を生成できるようにしています。当手法は独立したモジュールを使用してフレーズ誘導と文脈-フレーズアライメントを行うため、異なるネットワークアーキテクチャを持つ言語モデルに容易に適用できます。基盤となる言語モデリングネットワークには変更が必要ありません。実験結果によると、当モデルは複数の強力なベースラインモデルよりも異なるデータセットで優れた性能を示しました。特に、Wikitext-103データセットにおいて17.4のパープレキシティで新たな最先端の性能を達成しました。さらに、フレーズ誘導モジュールの出力を可視化した結果、当モデルが注釈なしで近似的なフレーズレベルの構造的知識を学習できることも確認されました。