HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Satzrepräsentation durch verallgemeinerte Poolingmethoden

Qian Chen; Zhen-Hua Ling; Xiaodan Zhu

Zusammenfassung

Pooling ist ein wesentlicher Bestandteil einer Vielzahl von Modellen zur Satzrepräsentation und -verschlüsselung. In dieser Arbeit untersuchen wir verallgemeinerte Pooling-Methoden, um die Satzverschlüsselung zu verbessern. Wir schlagen eine vektorbasierte Multi-Head-Aufmerksamkeit vor, die die weit verbreiteten Max-Pooling, Mean-Pooling und skalare Selbstaufmerksamkeit als Spezialfälle enthält. Das Modell profitiert von sorgfältig konzipierten Straftermen, um Redundanzen im Multi-Head-Aufmerksamkeitsmechanismus zu reduzieren. Wir bewerten das vorgeschlagene Modell anhand dreier verschiedener Aufgaben: natürliche Sprachinferenz (NLI), Autorprofiling und Stimmungsanalyse. Die Experimente zeigen, dass das vorgeschlagene Modell erhebliche Verbesserungen gegenüber starken satzcodierungsbasierten Methoden erzielt und auf vier Datensätzen den aktuellen Stand der Technik erreicht. Der vorgeschlagene Ansatz kann leicht für mehr Probleme implementiert werden als in dieser Arbeit diskutiert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp