NuNER: LLM注釈データを用いたエンティティ認識エンコーダの事前学習

大規模言語モデル（LLMs）はデータアノテーションにおいて印象的な能力を示しており、従来の自然言語処理（NLP）問題の解決に向けた新しい手法を開拓しています。本論文では、LLMs を用いて NuNER という名詞認識（NER）タスクに特化したコンパクトな言語表現モデルを作成する方法を示します。NuNER は、データ効率的に下流の NER 問題を解くための微調整が可能で、同程度のサイズを持つ基盤モデルよりも少ないショット設定で優れた性能を発揮し、さらに大規模な LLMs と競争することができます。私たちは、事前学習データセットのサイズとエンティティタイプの多様性が良好な性能を達成する上で重要な役割を果たすことを確認しました。NuNER を LLMs によって最近実現されたタスク固有の基盤モデル群の一員として捉えています。