要約
BiLSTMは、シーケンスラベリング設定における固有表現認識（NER）のコアモジュールとして広く使用されています。最先端の手法では、BiLSTMに Gazetteer（地名辞書）、言語モデル、またはマルチタスク監督などの追加リソースを組み合わせて、NERの性能をさらに向上させています。本論文では、そのような手法とは異なり、BiLSTM自体の問題点に焦点を当て、自己注意機構が具体的にどのような改善をもたらすかを分析します。私たちは形式的に (CRF-)BiLSTMが各単語に対するクロスコンテキストパターンのモデリングにおいて持つ制限性 -- XOR制限 -- を示します。その後、自己注意機構とCross-BiLSTMという2種類の単純なクロス構造がこの問題を効果的に解決できることを示します。私たちはOntoNotes 5.0とWNUT 2017という実際のNERデータセットで、この欠点による実践的な影響を検証し、ベースラインに対して明確かつ一貫した改善が見られることを確認しました。特に複数トークンからなるエンティティ参照において最大8.7%の改善が観測されました。私たちはNERのいくつかの側面における改善について詳細な分析を行い、特に複数トークンからの参照識別に関する分析を行いました。本研究は、シーケンスラベリング型NERにおける今後の改善のために堅固な基礎を築くものとなるでしょう。（ソースコード: https://github.com/jacobvsdanniel/cross-ner）