要約
双方向長短期記憶ネットワーク（BiLSTM）は、固有表現抽出（NER）タスクを解くモデルにおけるエンコーダとして広く用いられてきた。近年、並列処理が可能で優れた性能を発揮する点から、Transformerはさまざまな自然言語処理（NLP）タスクに広く採用されている。しかし、TransformerのNERにおける性能は、他のNLPタスクほど優れていないのが現状である。本論文では、文字レベル特徴と単語レベル特徴をモデル化するために、適応型Transformerエンコーダを採用するNERアーキテクチャ「TENER」を提案する。方向性と相対距離を意識したアテンションおよびスケーリングなしのアテンションを組み込むことで、Transformer型エンコーダが他のNLPタスクと同様にNERにおいても有効であることを実証した。