17日前

名前エンティティ認識における意味的分離のためのPrismモジュール

{Sheng Gao, Daqi Zheng, Si Li, Kun Liu, Zhengdong Lu, Shen Li}
名前エンティティ認識における意味的分離のためのPrismモジュール
要約

自然言語処理分野では、文脈を用いても単語内に複数の意味が混在するという問題が長年にわたり課題となっていた。この問題を解決するために、本研究では単語の意味的側面を分離し、モデルの入力層におけるノイズを低減するためのプリズムモジュールを提案する。プリズムモジュールでは、タスクに関連する意味的側面に一部の単語を選択的に置き換えることで、ノイズの少ない単語表現を生成し、それを下流タスクに供給することでタスクの実行を容易にする。さらに、追加のデータを必要とせずに、このモジュールを下流モデルと共同で学習するための構造も導入している。このモジュールは下流モデルに容易に統合可能であり、命名エンティティ認識(NER)タスクにおいてベースラインモデルの性能を顕著に向上させる。消去分析(ablation analysis)により、本手法の妥当性が確認された。また、副次的な効果として、本手法は各単語の貢献度を可視化する手段を提供する。

名前エンティティ認識における意味的分離のためのPrismモジュール | 最新論文 | HyperAI超神経