Command Palette
Search for a command to run...
Neuronale Modelle für die Schlussfolgerung über mehrere Erwähnungen mittels Koreferenz
Neuronale Modelle für die Schlussfolgerung über mehrere Erwähnungen mittels Koreferenz
Bhuwan Dhingra Qiao Jin Zhilin Yang William W. Cohen Ruslan Salakhutdinov
Zusammenfassung
Viele Probleme im Bereich der natürlichen Sprachverarbeitung (NLP) erfordern die Aggregation von Informationen aus mehreren Erwähnungen derselben Entität, die im Text weit voneinander entfernt sein können. Bestehende Schichten rekurrenter Neuronaler Netze (RNN) sind jedoch auf kurzfristige Abhängigkeiten ausgerichtet und daher für solche Aufgaben nicht geeignet. Wir stellen eine rekurrente Schicht vor, die stattdessen auf koreferenziale Abhängigkeiten abgestimmt ist. Diese Schicht nutzt koreferenziale Annotationen, die aus einem externen System extrahiert wurden, um Erwähnungen von Entitäten innerhalb desselben Clusters zu verbinden. Die Integration dieser Schicht in ein state-of-the-art-Modell für Leseverstehen verbessert die Leistung auf drei Datensätzen – Wikihop, LAMBADA und den bAbi AI-Aufgaben – insbesondere dann, wenn das Trainingsdatenvolumen gering ist.