Vergleichen, Komprimieren und Verbreiten: Verbesserung neuronaler Architekturen durch Faktorisierung der Ausrichtung für die natürliche Sprachfolgerung

Dieses Papier stellt eine neue Deep-Learning-Architektur für die natürlichsprachliche Inferenz (NLI) vor. Zunächst führen wir eine neue Architektur ein, bei der Ausrichtungspaare verglichen, komprimiert und dann an höhere Schichten weitergeleitet werden, um das Lernen von vertieften Darstellungen zu verbessern. Anschließend nutzen wir Faktorisierungsschichten zur effizienten und ausdrucksstarken Kompression von Ausrichtungsvektoren in skalare Merkmale, die dann verwendet werden, um die grundlegenden Wortdarstellungen zu erweitern. Das Design unseres Ansatzes zielt darauf ab, konzeptionell einfach, kompakt und dennoch leistungsfähig zu sein. Wir führen Experimente auf drei gängigen Benchmarks durch: SNLI, MultiNLI und SciTail, wobei wir wettbewerbsfähige Ergebnisse auf allen erreichen. Eine leichtgewichtige Parametrisierung unseres Modells ermöglicht zudem eine Reduktion der Parametergröße um etwa das Drei-Fache im Vergleich zu aktuellen Top-Modellen wie ESIM und DIIN, während gleichzeitig wettbewerbsfähige Leistungen aufrechterhalten werden. Darüber hinaus zeigt eine visuelle Analyse, dass unsere verbreiteten Merkmale hochgradig interpretierbar sind.