WiRe57: Ein feingranulärer Benchmark für die offene Informationsextraktion

Wir erstellen eine Referenz für die Aufgabe der Offenen Informationsextraktion (Open Information Extraction) basierend auf fünf Dokumenten. Wir bearbeiten vorläufig eine Reihe von auftretenden Problemen, darunter Inferenz und Granularität. Unser Ziel ist es, die Anforderungen an die Aufgabe präziser zu definieren. Dazu erarbeiten wir unsere Annotation-Richtlinien, in denen festgelegt wird, was korrekt extrahiert werden darf und was nicht. Diese Referenz nutzen wir anschließend, um existierende Offene-IE-Systeme zu bewerten. Wir behandeln das nicht triviale Problem der Bewertung der durch Systeme erzeugten Extraktionen im Vergleich zu den Referenz-Tupeln und teilen unser Evaluierungsskript mit. Unter sieben verglichenen Extraktoren stellen wir fest, dass das MinIE-System die besten Ergebnisse liefert.