Adversarial Training für aspektbasierte Sentimentanalyse mit BERT

Aspect-Based Sentiment Analysis (ABSA) befasst sich mit der Extraktion von Sentimenten und ihren Zielobjekten. Die Sammlung annotierter Daten für diese Aufgabe, um neuronale Netzwerke besser generalisieren zu lassen, kann zeitaufwendig und arbeitsintensiv sein. Als Alternative können ähnliche Daten zu realen Beispielen künstlich durch einen adversarialen Prozess erzeugt werden, der im Embedding-Raum stattfindet. Obwohl diese Beispiele keine echten Sätze darstellen, haben sie sich als Regularisierungsmethode erwiesen, die neuronale Netzwerke robuster machen kann. In dieser Arbeit wenden wir adversariales Training an, wie von Goodfellow et al. (2014) vorgeschlagen, auf das nachträglich vortrainierte BERT-Modell (BERT-PT), das von Xu et al. (2019) vorgestellt wurde, für die beiden zentralen Aufgaben des Aspect Extraction und der Aspect Sentiment Classification im Bereich der Sentimentanalyse an. Nach Verbesserung der Leistung des nachträglich vortrainierten BERT durch eine Ablationsstudie schlagen wir eine neuartige Architektur namens BERT Adversarial Training (BAT) vor, um adversiales Training in der ABSA effizient zu nutzen. Das vorgeschlagene Modell übertrifft das nachträglich vortrainierte BERT in beiden Aufgaben. Soweit uns bekannt ist, handelt es sich hierbei um die erste Studie zur Anwendung adversialen Trainings in der ABSA.