Semantische Satzübereinstimmung mit dicht verbundenen rekurrenten und ko-attentiven Informationen

Satzübereinstimmung wird in verschiedenen natürlichsprachlichen Aufgaben wie natürlichsprachlicher Inferenz, Paraphrasenerkennung und Fragebeantwortung weit verbreitet eingesetzt. Für diese Aufgaben ist es erforderlich, die logische und semantische Beziehung zwischen zwei Sätzen zu verstehen, was jedoch noch immer eine Herausforderung darstellt. Obwohl das Aufmerksamkeitsmechanismus nützlich ist, um die semantische Beziehung zu erfassen und die Elemente zweier Sätze angemessen auszurichten, verwenden vorherige Methoden des Aufmerksamkeitsmechanismus einfach eine Summationsoperation, die nicht ausreichend die ursprünglichen Merkmale beibehält. Inspiriert durch DenseNet, ein dicht verbundenes Faltungsnetzwerk, schlagen wir ein dicht verbundenes ko-attentives rekurrentes Neuronales Netzwerk (RNN) vor, bei dem jede Schicht konglomerierte Informationen der aufmerksamen Merkmale sowie der versteckten Merkmale aller vorherigen rekurrenten Schichten verwendet. Dies ermöglicht es, sowohl die ursprünglichen als auch die ko-attentiven Merkmalsinformationen von der untersten Wort-Einbettungsschicht bis zur obersten rekurrenten Schicht zu bewahren. Um das Problem der ständig wachsenden Größe der Merkmalvektoren aufgrund dichter Konglomerationsoperationen zu lindern, schlagen wir zudem den Einsatz eines Autoencoders nach der dichten Konglomeration vor. Wir evaluieren unsere vorgeschlagene Architektur an hochwettbewerbsfähigen Benchmark-Datensätzen im Zusammenhang mit Satzübereinstimmung. Die experimentellen Ergebnisse zeigen, dass unsere Architektur, die rekurrente und aufmerksame Merkmale beibehält, für die meisten Aufgaben den aktuellen Stand der Technik erreicht.请注意，这里“ko-attentives”是根据上下文翻译的，德语中可能没有完全对应的术语，因此在首次出现时可以考虑加上英文注释（ko-attentive）。此外，“Autoencoder”在德语中通常直接使用英语词汇。