要約
最近、Flat-Lattice Transformer (FLAT) は中国語の固有名詞認識 (NER) において大きな成功を収めています。FLAT はフラットラティスを構築することで、曖昧な単語境界と単語の意味情報不足がもたらす困難を軽減します。FLAT では、マッチング単語を接続するために開始文字と終了文字の位置を使用します。しかし、この方法は長いテキストを処理する際により多くの単語をマッチングしやすくなり、結果として長い入力シーケンスが生成される可能性があります。したがって、自己注意モジュールのメモリと計算コストが大幅に増加します。この問題に対処するため、我々は新しいレキシカル強化手法である InterFormer を提唱します。InterFormer は非フラットラティスを構築することで、計算コストとメモリ使用量を効果的に削減します。さらに、InterFormer を基盤として、中国語 NER 用の NFLAT を実装しました。NFLAT は辞書融合と文脈特徴符号化を分離します。FLAT と比較して、「単語-文字」および「単語-単語」間での不要な注意計算を削減し、メモリ使用量を約50%削減できます。これにより、より広範な辞書や高いバッチサイズを使用してネットワーク訓練を行うことが可能になります。いくつかの著名なベンチマークで得られた実験結果は、提案手法が最先端のハイブリッド (文字-単語) モデルに対して優れていることを示しています。