Neuronale Modelle für die Schlussfolgerung über mehrere Erwähnungen mittels Koreferenz

Viele Probleme im Bereich der natürlichen Sprachverarbeitung (NLP) erfordern die Aggregation von Informationen aus mehreren Erwähnungen derselben Entität, die im Text weit voneinander entfernt sein können. Bestehende Schichten rekurrenter Neuronaler Netze (RNN) sind jedoch auf kurzfristige Abhängigkeiten ausgerichtet und daher für solche Aufgaben nicht geeignet. Wir stellen eine rekurrente Schicht vor, die stattdessen auf koreferenziale Abhängigkeiten abgestimmt ist. Diese Schicht nutzt koreferenziale Annotationen, die aus einem externen System extrahiert wurden, um Erwähnungen von Entitäten innerhalb desselben Clusters zu verbinden. Die Integration dieser Schicht in ein state-of-the-art-Modell für Leseverstehen verbessert die Leistung auf drei Datensätzen – Wikihop, LAMBADA und den bAbi AI-Aufgaben – insbesondere dann, wenn das Trainingsdatenvolumen gering ist.