要約
私たちは、LSTMエンコーダを自己注意（self-attentive）アーキテクチャに置き換えることで、最先端の判別構文解析器の性能が向上することを示しました。注意メカニズムの使用により、文章内の異なる位置間での情報伝播の方法が明確になります。これを利用して、モデルの分析を行い、潜在的な改善案を提案しています。例えば、エンコーダ内で位置情報と内容情報を分離することで、構文解析の精度が向上することがわかりました。さらに、語彙表現に関する異なる手法を評価しました。私たちの解析器は、Penn Treebankで単一モデルとして訓練された場合、外部データを使用せずに93.55 F1スコアを達成し、事前学習済みの単語表現を使用した場合は95.13 F1スコアを達成しました。また、SPMRLデータセットの9言語中の8言語においても、これまでの最高公表精度を超える結果を達成しています。