17日前

BenchIE:多面的事実ベースオープン情報抽出評価のためのフレームワーク

Kiril Gashteovski, Mingying Yu, Bhushan Kotnis, Carolin Lawrence, Mathias Niepert, Goran Glavaš
BenchIE:多面的事実ベースオープン情報抽出評価のためのフレームワーク
要約

OIE(オープン情報抽出)システムの内在的評価は、人手による評価(人間の評価者が抽出結果の正しさを判断する)または標準化されたベンチマークを用いた自動評価のいずれかで行われる。後者の自動評価はコスト面でははるかに効率的であるが、現行のOIEベンチマークの不完全性という点で信頼性が低い。具体的には、正解データ(ゴールドスタンダード)に同一事実のすべての妥当な表現形が含まれていないため、モデルの性能評価が不安定となる。さらに、既存のOIEベンチマークは英語のみに限定されている。本研究では、英語、中国語、ドイツ語に対応したOIEシステムの包括的評価を可能にするベンチマークおよび評価フレームワーク「BenchIE」を提案する。既存のOIEベンチマークとは異なり、BenchIEは事実ベース(fact-based)であり、抽出結果の情報的同等性を考慮する。すなわち、同義的な事実のすべての妥当な表面表現(表面形)を網羅的にリストアップした「事実シノニム集合(fact synsets)」をゴールドスタンダードとして採用している。また、OIEの実用的後続タスクを踏まえ、BenchIEは多面的(multi-faceted)に設計されており、抽出結果の簡潔性(compactness)や最小性(minimality)といった異なる評価側面に焦点を当てた複数のベンチマークバリエーションを構築している。BenchIEを用いて複数の最先端OIEシステムを評価した結果、従来のベンチマークによって示されていた性能よりも、これらのシステムの有効性が著しく低いことが明らかになった。本研究では、BenchIEのデータおよび評価コードをGitHub(https://github.com/gkiril/benchie)にて公開する。

BenchIE:多面的事実ベースオープン情報抽出評価のためのフレームワーク | 最新論文 | HyperAI超神経