Verbesserung der Satzrepräsentation durch verallgemeinerte Poolingmethoden

Pooling ist ein wesentlicher Bestandteil einer Vielzahl von Modellen zur Satzrepräsentation und -verschlüsselung. In dieser Arbeit untersuchen wir verallgemeinerte Pooling-Methoden, um die Satzverschlüsselung zu verbessern. Wir schlagen eine vektorbasierte Multi-Head-Aufmerksamkeit vor, die die weit verbreiteten Max-Pooling, Mean-Pooling und skalare Selbstaufmerksamkeit als Spezialfälle enthält. Das Modell profitiert von sorgfältig konzipierten Straftermen, um Redundanzen im Multi-Head-Aufmerksamkeitsmechanismus zu reduzieren. Wir bewerten das vorgeschlagene Modell anhand dreier verschiedener Aufgaben: natürliche Sprachinferenz (NLI), Autorprofiling und Stimmungsanalyse. Die Experimente zeigen, dass das vorgeschlagene Modell erhebliche Verbesserungen gegenüber starken satzcodierungsbasierten Methoden erzielt und auf vier Datensätzen den aktuellen Stand der Technik erreicht. Der vorgeschlagene Ansatz kann leicht für mehr Probleme implementiert werden als in dieser Arbeit diskutiert wird.