HyperAIHyperAI

Command Palette

Search for a command to run...

Vergleichen, Komprimieren und Verbreiten: Verbesserung neuronaler Architekturen durch Faktorisierung der Ausrichtung für die natürliche Sprachfolgerung

Yi Tay; Luu Anh Tuan; Siu Cheung Hui

Zusammenfassung

Dieses Papier stellt eine neue Deep-Learning-Architektur für die natürlichsprachliche Inferenz (NLI) vor. Zunächst führen wir eine neue Architektur ein, bei der Ausrichtungspaare verglichen, komprimiert und dann an höhere Schichten weitergeleitet werden, um das Lernen von vertieften Darstellungen zu verbessern. Anschließend nutzen wir Faktorisierungsschichten zur effizienten und ausdrucksstarken Kompression von Ausrichtungsvektoren in skalare Merkmale, die dann verwendet werden, um die grundlegenden Wortdarstellungen zu erweitern. Das Design unseres Ansatzes zielt darauf ab, konzeptionell einfach, kompakt und dennoch leistungsfähig zu sein. Wir führen Experimente auf drei gängigen Benchmarks durch: SNLI, MultiNLI und SciTail, wobei wir wettbewerbsfähige Ergebnisse auf allen erreichen. Eine leichtgewichtige Parametrisierung unseres Modells ermöglicht zudem eine Reduktion der Parametergröße um etwa das Drei-Fache im Vergleich zu aktuellen Top-Modellen wie ESIM und DIIN, während gleichzeitig wettbewerbsfähige Leistungen aufrechterhalten werden. Darüber hinaus zeigt eine visuelle Analyse, dass unsere verbreiteten Merkmale hochgradig interpretierbar sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Vergleichen, Komprimieren und Verbreiten: Verbesserung neuronaler Architekturen durch Faktorisierung der Ausrichtung für die natürliche Sprachfolgerung | Paper | HyperAI