ニューラルペアワイズ条件付き確率場を用いた超微細エンティティタイプ推定におけるラベル相関のモデリング

超微細エンティティタイプ分類（Ultra-fine Entity Typing, UFET）は、文における与えられたエンティティ表記が適切に記述するタイプフレーズの広範なカテゴリを予測することを目的としています。近年の大多数の研究では、各エンティティタイプを独立して推論するアプローチを採用しており、タイプ間の相関関係を無視しています。例えば、あるエンティティが「大統領」と推論された場合、必然的に「政治家」および「指導者」ともなるべきです。この問題に対処するため、本研究では、タイプ変数が入力に単一の影響を受けるだけでなく、他のすべてのタイプ変数とペアワイズに相互に関連するという特徴を持つ、無向グラフィカルモデルであるペアワイズ条件付き確率場（Pairwise Conditional Random Field, PCRF）を用いてUFET問題を定式化しました。エンティティタイプ分類のための多様な最新のバックボーンモデルを用いて単一項ポテンシャル（unary potentials）を計算し、タイプフレーズの表現から、事前知識を捉えつつ推論を高速化するためのペアワイズポテンシャル（pairwise potentials）を導出しています。非常に大きなタイプセットにおける効率的なタイプ推論の実現のため、平均場変分推論（mean-field variational inference）を採用し、これをニューラルネットワークモジュールとして展開することで、エンド・ツー・エンドの学習を可能にしました。UFETに関する実験の結果、Neural-PCRFはバックボーンモデルに比べてわずかなコスト増で一貫して優れた性能を発揮し、クロスエンコーダベースの最先端手法（SOTA）と比較しても競争力のある性能を達成しつつ、数千倍も高速であることが示されました。また、タイプ数が比較的小さな細粒度エンティティタイプ分類データセットにおいても、Neural-PCRFの有効性が確認されました。本研究では、Neural-PCRFをマルチラベルタイプ分類器に簡単に統合できるネットワークモジュールとしてパッケージ化し、GitHubにて公開しています（https://github.com/modelscope/adaseq/tree/master/examples/NPCRF）。