要約
私たちは5つの文書を用いてオープン情報抽出（Open Information Extraction）のタスクのための基準を作成しました。推論や粒度などの発生する問題を仮に解決し、このタスクの要件をより正確に特定することを目指しています。そのために、抽出が適切であるか否かを明確に規定したアノテーションガイドラインを作成しました。次に、この基準を使用して既存のオープンIEシステムの性能を評価しました。システムによって生成された抽出結果と基準タプルとの比較という非自明な問題にも取り組み、評価スクリプトを共有しています。7つの比較対象となる抽出器の中で、MinIEシステムが最も優れた性能を示すことがわかりました。