17日前

CONTaiNER:対照学習を用いたFew-Shot Named Entity Recognition

Sarkar Snigdha Sarathi Das, Arzoo Katiyar, Rebecca J. Passonneau, Rui Zhang
CONTaiNER:対照学習を用いたFew-Shot Named Entity Recognition
要約

少数サンプル設定における命名エンティティ認識(NER)は、リソースが限られたドメインにおけるエンティティタグ付けにおいて不可欠である。従来のアプローチは、ソースドメインからクラス固有の意味的特徴量および中間表現のみを学習するにとどまっている。このため、未観測のターゲットドメインへの汎化能力が損なわれ、最適な性能を発揮できなくなる。こうした課題に対応して、本研究では、少数サンプルNERにおけるトークン間分布距離を最適化する新たな対照学習手法CONTaiNERを提案する。CONTaiNERは、クラス固有の属性を最適化するのではなく、ガウス分布に従う埋め込み表現に基づいてトークンカテゴリ間の区別を可能にする汎用的な目的関数を最適化することで、訓練ドメインに起因する過学習の問題を効果的に軽減する。OntoNotes、CoNLL'03、WNUT'17、GUMといった従来のテストドメインおよび新しく構築された大規模な少数サンプルNERデータセット(Few-NERD)における実験結果から、平均して既存手法よりも3~13%の絶対F1スコアの向上を達成し、従来手法が有意な性能を発揮できなかった困難な状況においても一貫した性能を示すことを確認した。

CONTaiNER:対照学習を用いたFew-Shot Named Entity Recognition | 最新論文 | HyperAI超神経