GRN: ゲート付き関係ネットワークを用いた名詞認識のための畳み込みニューラルネットワークの強化

名詞認識（NER）の主要な手法は、複雑な再帰型ニューラルネットワーク（RNN）、例えば長短期記憶（LSTM）を主に採用しています。しかし、RNNは計算効率においてその再帰的な性質によって制限されています。一方、畳み込みニューラルネットワーク（CNN）は、フィードフォワード構造によりGPU並列処理を完全に活用できます。しかし、CNNが系列内の長期的な文脈情報を捉える難しさから、NERにCNNを使用する研究には十分な注目が払われていませんでした。本論文では、単純ながら効果的なCNNベースのネットワークであるゲート付き関係ネットワーク（GRN）を提案します。このGRNは一般的なCNNよりも長期的な文脈情報を捉える能力が高いです。具体的には、GRNではまず各単語の局所的な文脈特徴をCNNで探索します。その後、単語間の関係をモデル化し、それらをゲートとして利用して局所的な文脈特徴を全体的なものに融合させてラベル予測を行います。系列的に文章を処理する再帰層を使用せずに、提案したGRNは文章全体に対して並列処理を行うことができます。CoNLL2003とOntonotes 5.0という2つのベンチマークNERデータセットでの実験結果から、外部知識の有無に関わらず提案したGRNが最先端の性能を達成できることを示しています。また、学習とテストにおける時間コストも低いことが確認されました。コードはhttps://github.com/HuiChen24/NER-GRN で公開されています。