HyperAIHyperAI

Command Palette

Search for a command to run...

Progressives Selbstüberwachtes Aufmerksamkeitslernen für die Aspektbasierte Stimmungsanalyse

Jialong Tang Ziyao Lu Jinsong Su Yubin Ge Linfeng Song Le Sun Jiebo Luo

Zusammenfassung

Im Bereich der aspektbasierten Stimmungsanalyse (Aspect-Level Sentiment Classification, ASC) ist es üblich, führende neuronale Modelle mit Aufmerksamkeitsmechanismen auszustatten, um die Bedeutung jedes Kontextworts für den gegebenen Aspekt zu ermitteln. Allerdings neigen solche Mechanismen dazu, sich übermäßig auf wenige häufige Wörter mit Stimmungspolaritäten zu konzentrieren und seltene Wörter zu ignorieren. In dieser Arbeit schlagen wir einen fortschreitenden selbstüberwachten Aufmerksamkeitslernansatz für neuronale ASC-Modelle vor, der nützliche Aufmerksamkeitsüberwachungsinformationen aus einem Trainingskorpus automatisch auswertet, um die Aufmerksamkeitsmechanismen zu verfeinern. Insbesondere führen wir iterativ Stimmungsvorhersagen für alle Trainingsinstanzen durch. Besonders bei jeder Iteration wird das Kontextwort mit dem höchsten Aufmerksamkeitsgewicht als das Wort extrahiert, das einen aktiven/irreführenden Einfluss auf die korrekte/falsche Vorhersage jeder Instanz hat; danach wird dieses Wort für nachfolgende Iterationen maskiert. Schließlich ergänzen wir das konventionelle Trainingsziel um einen Regularisierungsterm, der es den ASC-Modellen ermöglicht, weiterhin gleichmäßig auf die extrahierten aktiven Kontextwörter zu fokussieren und gleichzeitig die Gewichte der irreführenden Wörter zu verringern. Experimentelle Ergebnisse auf mehreren Datensätzen zeigen, dass unser vorgeschlagener Ansatz bessere Aufmerksamkeitsmechanismen hervorbringt und zu erheblichen Verbesserungen im Vergleich zu den beiden neuesten neuronalen ASC-Modellen führt. Der Quellcode und die trainierten Modelle sind unter https://github.com/DeepLearnXMU/PSSAttention verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp