End-to-End Neuronale Coreferenzauflösung

Wir stellen das erste end-to-end Kernreferenz-Modell vor und zeigen, dass es ohne die Verwendung eines syntaktischen Parsers oder eines manuell entwickelten Erwähnungsdetektors alle bisherigen Ansätze deutlich übertrifft. Das zentrale Konzept besteht darin, alle Textabschnitte in einem Dokument direkt als potenzielle Erwähnungen zu betrachten und Verteilungen über mögliche Antezedenten für jeden zu lernen. Das Modell berechnet Span-Einbettungen, die kontextabhängige Randrepräsentationen mit einem Aufmerksamkeitsmechanismus zur Identifikation von Hauptwörtern kombiniert. Es wird trainiert, um die marginale Wahrscheinlichkeit der goldenen Antezedenten-Spans aus den Kernreferenzclustern zu maximieren, und ist so aufgebaut, dass eine aggressive Reduktion der potenziellen Erwähnungen ermöglicht wird. Experimente demonstrieren eine Spitzenleistung, wobei sich ein Anstieg des F1-Werts von 1,5 auf dem OntoNotes-Benchmark und von 3,1 durch die Verwendung eines Ensembles aus fünf Modellen ergibt, obwohl dies der erste Ansatz ist, der erfolgreich ohne externe Ressourcen trainiert wurde.