Command Palette
Search for a command to run...
Verbesserung der Satzrepräsentation durch verallgemeinerte Poolingmethoden
Verbesserung der Satzrepräsentation durch verallgemeinerte Poolingmethoden
Qian Chen; Zhen-Hua Ling; Xiaodan Zhu
Zusammenfassung
Pooling ist ein wesentlicher Bestandteil einer Vielzahl von Modellen zur Satzrepräsentation und -verschlüsselung. In dieser Arbeit untersuchen wir verallgemeinerte Pooling-Methoden, um die Satzverschlüsselung zu verbessern. Wir schlagen eine vektorbasierte Multi-Head-Aufmerksamkeit vor, die die weit verbreiteten Max-Pooling, Mean-Pooling und skalare Selbstaufmerksamkeit als Spezialfälle enthält. Das Modell profitiert von sorgfältig konzipierten Straftermen, um Redundanzen im Multi-Head-Aufmerksamkeitsmechanismus zu reduzieren. Wir bewerten das vorgeschlagene Modell anhand dreier verschiedener Aufgaben: natürliche Sprachinferenz (NLI), Autorprofiling und Stimmungsanalyse. Die Experimente zeigen, dass das vorgeschlagene Modell erhebliche Verbesserungen gegenüber starken satzcodierungsbasierten Methoden erzielt und auf vier Datensätzen den aktuellen Stand der Technik erreicht. Der vorgeschlagene Ansatz kann leicht für mehr Probleme implementiert werden als in dieser Arbeit diskutiert wird.