WiRe57 : Un Benchmark Détaillé pour l'Extraction d'Information Ouverte

Nous avons établi une référence pour la tâche d'Extraction d'Information Ouverte (Open Information Extraction) à partir de cinq documents. Nous avons abordé de manière expérimentale plusieurs problèmes qui se sont posés, notamment l'inférence et la granularité. Notre objectif est d'affiner les exigences de cette tâche. Nous avons élaboré nos directives d'annotation, précisant ce qui doit être extrait et ce qui ne doit pas l'être. Ensuite, nous avons utilisé cette référence pour évaluer les systèmes d'Extraction d'Information Ouverte existants. Nous avons traité le problème non trivial de l'évaluation des extraits produits par les systèmes en les comparant aux tuples de référence, et partagé notre script d'évaluation. Parmi les sept extracteurs comparés, nous avons constaté que le système MinIE obtient les meilleurs résultats.