HyperAIHyperAI

Command Palette

Search for a command to run...

OntoGUM: Evaluierung kontextualisierter SOTA-Coreferenzauflösung auf 12 weiteren Genres

Yilun Zhu Sameer Pradhan Amir Zeldes

Zusammenfassung

SOTA-Referenzauflösung erzielt auf der OntoNotes-Benchmark stetig beeindruckende Ergebnisse. Allerdings erschwert der Mangel an vergleichbaren Daten, die nach derselben Struktur für weitere Genres vorliegen, die Bewertung der Generalisierbarkeit auf offene Domänen. In diesem Artikel präsentieren wir eine Datensammlung und eine umfassende Evaluation, die zeigen, dass die neuesten neuronalen Sprachmodell-basierten End-to-End-Systeme außerhalb der Trainingsdomäne erheblich abfallen. Wir stellen öffentlich eine OntoNotes-ähnliche Referenzauflösungsdatenbank namens OntoGUM bereit, die aus GUM, einem englischen Korpus mit 12 Genres, mittels deterministischer Regeln konvertiert wurde, und die wir evaluiert haben. Dank der reichhaltigen syntaktischen und diskursiven Annotationen in GUM können wir die größte menschlich annotierte Referenzauflösungsdatenbank erstellen, die den OntoNotes-Richtlinien folgt, und die erste, die auf ihre Konsistenz mit dem OntoNotes-Schema evaluiert wurde. Die Evaluation außerhalb der Domäne über 12 Genres zeigt für sowohl deterministische als auch tief lernende Systeme eine Abnahme um fast 15–20 %, was auf eine mangelnde Generalisierbarkeit oder eine versteckte Überanpassung in den bestehenden Referenzauflösungsmodellen hindeutet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp