ボックス埋め込みを用いた細粒度エンティティタイプのモデリング

ニューラルエンティティタイプ推定モデルは、細粒度のエンティティタイプを高次元空間内のベクトルとして表現するが、このような空間ではタイプ間の複雑な依存関係を適切にモデル化するには向かない。本研究では、概念をd次元の超長方形（ボックス）として埋め込むボックス埋め込み（box embeddings）の能力を検討し、オントロジーに明示的に定義されていないタイプ間の階層関係も、それらを捉えることができるかどうかを評価した。我々のモデルは、タイプおよびエンティティの表出（mention）をともにボックスとして表現する。各エンティティ表出とその文脈をBERTベースのモデルに入力することで、その表出をボックス空間内に埋め込む。本モデルは、表面テキスト中に含まれるタイプに関する手がかりを活用し、表出に対して適切なタイプ表現を仮説的に推定する。その後、ボックスの包含関係（containment）を用いることで、ある表出が特定のタイプを示す事後確率、およびタイプ同士の条件付き確率関係を導出できる。このアプローチをベクトルベースのタイプ推定モデルと比較したところ、複数のエンティティタイプ推定ベンチマークにおいて最先端の性能を達成した。競争力あるタイプ推定性能に加え、本ボックスベースのモデルは予測の一貫性（上位タイプと下位タイプを同時に予測する能力）および信頼度（校正性、calibration）においても優れた性能を示し、ベクトルベースのモデルよりも、隠れたタイプ階層構造をより適切に捉えていることを示している。