18日前

ITER:イテラティブ・トランスフォーマーに基づくエンティティ認識および関係抽出

{Michaela Geierhos, Florian Babl, Moritz Hennen}
ITER:イテラティブ・トランスフォーマーに基づくエンティティ認識および関係抽出
要約

テキストから構造化情報を抽出する際、エンティティの認識と関係の抽出は不可欠なプロセスである。近年のこれらのタスクにおける進展は、逐次的な自己回帰(autoregressive)アプローチを用いて情報の構造化表現を生成するものが多く、計算量が大きく、処理に時間がかかるという課題を抱えている。このような状況から自然に生じる問いは、「同等の結果を達成するために、本当に自己回帰的手法が必要なのか」というものである。本研究では、効率的なエンコーダベースの関係抽出モデルであるITERを提案する。ITERは、タスクを3つの並列処理可能なステップで実行することで、近年の言語モデルアプローチを大幅に高速化している。具体的には、単一のコンシューマー向けGPU上で大規模モデルに対して1秒あたり600サンプル以上の推論スループットを達成している。さらに、関係抽出データセットADEおよびACE05において最先端の性能を達成し、GENIAおよびCoNLL03における名前付きエンティティ認識、およびSciERCおよびCoNLL04における関係抽出においても、競争力ある結果を示している。