Lernen von Wortrepräsentationen mit kreuzsatzübergreifenden Abhängigkeiten für die end-to-end Coreferenzauflösung

In dieser Arbeit präsentieren wir ein Wort-Einbettungsmodell, das Kreuz-Satz-Abhängigkeiten lernt, um die End-to-End-Präzisionsauflösung (E2E-CR) zu verbessern. Während die herkömmlichen E2E-CR-Modelle Wortrepräsentationen erzeugen, indem sie auf jedem Satz eines Eingabedokuments oder einer Gesprächstextsequenz separat Long Short-Term Memory (LSTM)-rekurrente Neuronale Netze ausführen, schlagen wir lineare Satzverknüpfungs- und aufmerksamkeitsbasierte Satzverknüpfungsmodelle vor, um Kreuz-Satz-Abhängigkeiten zu lernen. Beide Satzverknüpfungsstrategien ermöglichen es den LSTMs, wertvolle Informationen aus Kontextsätzen zu nutzen, während sie die Repräsentation des aktuellen Eingabewortes berechnen. Auf diese Weise lernen die LSTMs Wort-Einbettungen, die nicht nur Kenntnisse aus dem aktuellen Satz, sondern auch aus dem gesamten Eingabedokument berücksichtigen. Experimente zeigen, dass das Lernen von Kreuz-Satz-Abhängigkeiten die in den Wortrepräsentationen enthaltene Information bereichert und die Leistung des Coreferenzauflösungsmodells gegenüber unserer Baseline verbessert.