深層意味役割ラベリングにおける自己注意メカニズムの利用

意味役割ラベリング（Semantic Role Labeling, SRL）は、自然言語理解への重要なステップと認識されており、広く研究が行われています。近年、再帰型ニューラルネットワーク（Recurrent Neural Networks, RNN）を用いたエンドツーエンドのSRLに注目が集まっています。しかし、RNNが構造的情報や長距離依存関係を処理することは依然として大きな課題となっています。本論文では、これらの問題に対処するための単純かつ効果的なアーキテクチャを提案します。我々のモデルは自己注意機構（self-attention）に基づいており、トークン間の距離に関わらず直接的な関係性を捉えることができます。我々の単一モデルはCoNLL-2005共有タスクデータセットでF$_1=83.4$、CoNLL-2012共有タスクデータセットでF$_1=82.7$を達成し、それぞれ前の最先端結果よりも1.8および1.0のF$_1$スコアで優れています。さらに、我々のモデルは計算効率が高く、単一のTitan X GPU上で5万トークン/秒の解析速度を実現しています。