Multi$^2$OIE: Multilinguale Offene Informationsextraktion basierend auf Multi-Head-Attention mit BERT

In diesem Paper stellen wir Multi$^2$OIE vor, ein Ansatz zur offenen Informationsextraktion (Open IE), der BERT in Kombination mit Multi-Head-Attention nutzt. Unser Modell ist ein Sequenzmarkierungs-System mit einer effizienten und wirksamen Methode zur Argumentextraktion. Wir ersetzen die bisher verwendete bidirektionale Long Short-Term Memory-Architektur durch eine Multi-Head-Attention-Struktur, die sich an der Query-Key-Value-Struktur des Multimodal Transformers orientiert. Multi$^2$OIE erreicht auf zwei etablierten Benchmark-Datensätzen, Re-OIE2016 und CaRB, eine höhere Genauigkeit als bestehende Sequenzmarkierungs-Systeme, wobei die Berechnungseffizienz besonders hoch ist. Zudem wenden wir die vorgeschlagene Methode auf multilinguale Open IE an, indem wir multilinguale BERT nutzen. Experimentelle Ergebnisse auf neuen Benchmark-Datensätzen für zwei Sprachen (Spanisch und Portugiesisch) zeigen, dass unser Modell andere multilinguale Systeme übertrifft, selbst ohne Trainingsdaten für die jeweiligen Zielsprachen.