HyperAIHyperAI

Command Palette

Search for a command to run...

End-to-End Neuronale Coreferenzauflösung

Kenton Lee† Luheng He† Mike Lewis‡ Luke Zettlemoyer†∗

Zusammenfassung

Wir stellen das erste end-to-end Kernreferenz-Modell vor und zeigen, dass es ohne die Verwendung eines syntaktischen Parsers oder eines manuell entwickelten Erwähnungsdetektors alle bisherigen Ansätze deutlich übertrifft. Das zentrale Konzept besteht darin, alle Textabschnitte in einem Dokument direkt als potenzielle Erwähnungen zu betrachten und Verteilungen über mögliche Antezedenten für jeden zu lernen. Das Modell berechnet Span-Einbettungen, die kontextabhängige Randrepräsentationen mit einem Aufmerksamkeitsmechanismus zur Identifikation von Hauptwörtern kombiniert. Es wird trainiert, um die marginale Wahrscheinlichkeit der goldenen Antezedenten-Spans aus den Kernreferenzclustern zu maximieren, und ist so aufgebaut, dass eine aggressive Reduktion der potenziellen Erwähnungen ermöglicht wird. Experimente demonstrieren eine Spitzenleistung, wobei sich ein Anstieg des F1-Werts von 1,5 auf dem OntoNotes-Benchmark und von 3,1 durch die Verwendung eines Ensembles aus fünf Modellen ergibt, obwohl dies der erste Ansatz ist, der erfolgreich ohne externe Ressourcen trainiert wurde.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp