HyperAIHyperAI

Command Palette

Search for a command to run...

言語情報に基づく自己注意メカニズムを用いた意味役割ラベリング

Emma Strubell; Patrick Verga; Daniel Andor; David Weiss; Andrew McCallum

概要

最新の意味役割ラベリング(SRL)は、明示的な言語的特徴を用いず、深層ニューラルネットワークを使用しています。しかし、先行研究では、ゴールド構文木がSRLのデコーディングを大幅に改善できることを示しており、構文の明示的なモデリングによって精度向上の可能性があることを示唆しています。本研究では、言語情報に基づく自己注意機構(Linguistically-Informed Self-Attention: LISA)を提案します。LISAは、依存関係解析、品詞タグ付け、述語検出およびSRLにおけるマルチヘッド自己注意とマルチタスク学習を組み合わせたニューラルネットワークモデルです。従来のモデルとは異なり、LISAは言語的特徴を準備するための大量の前処理を必要とせず、単なる生トークンのみを入力として使用して構文情報を組み込むことができます。シーケンスは一度だけエンコードされ、すべての述語に対して同時にパーシング、述語検出およびロールラベリングが行われます。構文情報は、各トークンに対して構文上の親に注目するように訓練された1つのアテンションヘッドによって組み込まれます。さらに、高品質な構文解析結果が既に利用可能である場合、テスト時にその情報を再学習せずに有利に注入することができます。CoNLL-2005 SRLでの実験において、LISAは予測された述語と標準的な単語埋め込みを使用するモデルとしては新しい最先端の性能を達成し、ニュース記事では前の最先端よりも2.5 F1値高く、ドメイン外データでは3.5 F1値以上高い性能を発揮しました。これは誤差がほぼ10%減少することを意味します。ConLL-2012英語SRLでも2.5 F1値以上の改善が確認されました。また、コンテキストエンコードされた(ELMo)単語表現を使用した場合でもLISAは最先端の性能を超えています。ニュースではほぼ1.0 F1値高く、ドメイン外テキストでは2.0 F1値以上高い性能を達成しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
言語情報に基づく自己注意メカニズムを用いた意味役割ラベリング | 記事 | HyperAI超神経