Progressives Selbstüberwachtes Aufmerksamkeitslernen für die Aspektbasierte Stimmungsanalyse

Im Bereich der aspektbasierten Stimmungsanalyse (Aspect-Level Sentiment Classification, ASC) ist es üblich, führende neuronale Modelle mit Aufmerksamkeitsmechanismen auszustatten, um die Bedeutung jedes Kontextworts für den gegebenen Aspekt zu ermitteln. Allerdings neigen solche Mechanismen dazu, sich übermäßig auf wenige häufige Wörter mit Stimmungspolaritäten zu konzentrieren und seltene Wörter zu ignorieren. In dieser Arbeit schlagen wir einen fortschreitenden selbstüberwachten Aufmerksamkeitslernansatz für neuronale ASC-Modelle vor, der nützliche Aufmerksamkeitsüberwachungsinformationen aus einem Trainingskorpus automatisch auswertet, um die Aufmerksamkeitsmechanismen zu verfeinern. Insbesondere führen wir iterativ Stimmungsvorhersagen für alle Trainingsinstanzen durch. Besonders bei jeder Iteration wird das Kontextwort mit dem höchsten Aufmerksamkeitsgewicht als das Wort extrahiert, das einen aktiven/irreführenden Einfluss auf die korrekte/falsche Vorhersage jeder Instanz hat; danach wird dieses Wort für nachfolgende Iterationen maskiert. Schließlich ergänzen wir das konventionelle Trainingsziel um einen Regularisierungsterm, der es den ASC-Modellen ermöglicht, weiterhin gleichmäßig auf die extrahierten aktiven Kontextwörter zu fokussieren und gleichzeitig die Gewichte der irreführenden Wörter zu verringern. Experimentelle Ergebnisse auf mehreren Datensätzen zeigen, dass unser vorgeschlagener Ansatz bessere Aufmerksamkeitsmechanismen hervorbringt und zu erheblichen Verbesserungen im Vergleich zu den beiden neuesten neuronalen ASC-Modellen führt. Der Quellcode und die trainierten Modelle sind unter https://github.com/DeepLearnXMU/PSSAttention verfügbar.