17日前
名前付きエンティティ認識のためのHero-Gangニューラルモデル
Jinpeng Hu, Yaling Shen, Yang Liu, Xiang Wan, Tsung-Hui Chang

要約
命名エンティティ認識(Named Entity Recognition, NER)は自然言語処理(NLP)における基本的かつ重要なタスクであり、自由テキストから命名エンティティ(NE)を同定することを目的としている。近年、Transformerモデルに採用されたマルチヘッドアテンション機構が長距離の文脈情報を効果的に捉えることができるため、Transformerに基づくモデルが主流の手法となり、このタスクにおいて顕著な性能を発揮している。しかし、これらのモデルは有効なグローバルな文脈情報を捉えることができるものの、NERにおいて極めて重要なローカル特徴および位置情報の抽出能力には依然として限界がある。本論文では、この課題を解決するために、グローバル情報とローカル情報を両方活用する新たなHero-Gang Neural構造(HGN)を提案する。具体的には、Heroモジュールは自己アテンション機構の利点を維持するため、Transformerベースのエンコーダで構成され、GangモジュールはHeroモジュールの指導のもとでマルチウィンドウ型再帰モジュールを用いてローカル特徴および位置情報を抽出する。その後、提案するマルチウィンドウアテンションにより、グローバル情報と複数のローカル特徴が効果的に統合され、エンティティラベルの予測が行われる。複数のベンチマークデータセットにおける実験結果から、本研究で提案するモデルの有効性が確認された。