Zusätzliche Merkmale von BiLSTM für verbessertes Sequenzlabeling

Sequenzbeschriftungsaufgaben erfordern die Berechnung von Satzrepräsentationen für jedes Wort innerhalb eines gegebenen Satzes. Eine weit verbreitete Methode verwendet eine bidirektionale Long Short-Term Memory (BiLSTM)-Schicht, um die Informationsstruktur der Sequenz zu verbessern. Allerdings deuten empirische Beweise Li (2020) darauf hin, dass die Fähigkeit von BiLSTM, Satzrepräsentationen für Sequenzbeschriftungsaufgaben zu erzeugen, inhärent begrenzt ist. Diese Begrenzung resultiert hauptsächlich aus der Integration von Fragmenten aus vergangenen und zukünftigen Satzrepräsentationen zur Formulierung einer vollständigen Satzrepräsentation. In dieser Studie beobachteten wir, dass die gesamte Satzrepräsentation, die sowohl in den ersten als auch in den letzten Zellen des BiLSTMs gefunden wird, jede einzelne Satzrepräsentation jeder Zelle ergänzen kann. Demgemäß entwickelten wir ein globales Kontextmechanismus, um gesamte zukünftige und vergangene Satzrepräsentationen in die Satzrepräsentation jeder Zelle innerhalb des BiLSTM-Frameworks zu integrieren. Durch die Einbeziehung des BERT-Modells in das BiLSTM als Demonstrationsbeispiel und die Durchführung umfassender Experimente auf neun Datensätzen für Sequenzbeschriftungsaufgaben, einschließlich Named Entity Recognition (NER), Part-of-Speech-Tagging (POS) und End-to-End Aspect-Based Sentiment Analysis (E2E-ABSA), konnten wir signifikante Verbesserungen der F1-Werte und der Genauigkeit in allen untersuchten Datensätzen feststellen.