言語情報に基づく自己注意メカニズムを用いた意味役割ラベリング

最新の意味役割ラベリング（SRL）は、明示的な言語的特徴を用いず、深層ニューラルネットワークを使用しています。しかし、先行研究では、ゴールド構文木がSRLのデコーディングを大幅に改善できることを示しており、構文の明示的なモデリングによって精度向上の可能性があることを示唆しています。本研究では、言語情報に基づく自己注意機構（Linguistically-Informed Self-Attention: LISA）を提案します。LISAは、依存関係解析、品詞タグ付け、述語検出およびSRLにおけるマルチヘッド自己注意とマルチタスク学習を組み合わせたニューラルネットワークモデルです。従来のモデルとは異なり、LISAは言語的特徴を準備するための大量の前処理を必要とせず、単なる生トークンのみを入力として使用して構文情報を組み込むことができます。シーケンスは一度だけエンコードされ、すべての述語に対して同時にパーシング、述語検出およびロールラベリングが行われます。構文情報は、各トークンに対して構文上の親に注目するように訓練された1つのアテンションヘッドによって組み込まれます。さらに、高品質な構文解析結果が既に利用可能である場合、テスト時にその情報を再学習せずに有利に注入することができます。CoNLL-2005 SRLでの実験において、LISAは予測された述語と標準的な単語埋め込みを使用するモデルとしては新しい最先端の性能を達成し、ニュース記事では前の最先端よりも2.5 F1値高く、ドメイン外データでは3.5 F1値以上高い性能を発揮しました。これは誤差がほぼ10%減少することを意味します。ConLL-2012英語SRLでも2.5 F1値以上の改善が確認されました。また、コンテキストエンコードされた（ELMo）単語表現を使用した場合でもLISAは最先端の性能を超えています。ニュースではほぼ1.0 F1値高く、ドメイン外テキストでは2.0 F1値以上高い性能を達成しています。