UniversalNER：大規模言語モデルからのターゲット型蒸留を用いたオープンネーミングエンティティ認識

大規模言語モデル（LLMs）は、任意のエンティティや関係を理解するといった顕著な汎化能力を示している。また、インストラクションチューニングは、Alpaca や Vicuna といったよりコスト効率の高いモデルに LLM を効果的に縮小（distill）する手法として有効であることが示されている。しかし、こうした学生モデル（student models）は、実用的なタスクにおいて依然として元の LLM に大きな差を置いており、性能面で劣っている。本論文では、ミッション指向のインストラクションチューニングを用いたターゲットド・ディスティルレーション（targeted distillation）を提案し、オープン情報抽出（open information extraction）を含む広範な応用分野で優れた性能を発揮する学生モデルの構築を試みる。具体的には、命名エンティティ認識（NER）を事例として取り上げ、ChatGPT を非常に小型な「UniversalNER」モデルに効果的にディスティルすることを示す。評価のため、医療・プログラミング・SNS・法務・金融など9つの多様なドメインにまたがる43のデータセットを含む、これまでで最大規模のNERベンチマークを構築した。直接的な教師データ（supervision）を一切用いずに、UniversalNERは数万種類に及ぶエンティティタイプに対して顕著なNER精度を達成し、Alpaca や Vicuna といった一般的なインストラクションチューニングモデルと比較して平均で30ポイント以上の絶対F1スコアで優位に立った。パラメータ数は極めて少数であるにもかかわらず、UniversalNERはChatGPTが持つ任意のエンティティタイプの認識能力を獲得するとともに、NER精度において平均で7～9ポイント高い結果を示した。特に注目すべきは、教師付きNER例を用いる最先端のマルチタスクインストラクションチューニングシステム（InstructUIE）を大きく上回った点である。さらに、本研究ではディスティルレーション手法における各構成要素の影響を詳細に検証するアブレーションスタディを実施した。本研究では、ディスティルレーションのレシピ、データ、およびUniversalNERモデルを公開し、今後のターゲットド・ディスティルレーションに関する研究を促進することを目的としている。