Sentence-State LSTM für Textrepräsentation

Bidirektionale LSTMs (Long Short-Term Memory) sind ein leistungsfähiges Werkzeug für die Textrepräsentation. Andererseits wurden sie aufgrund ihrer sequentiellen Natur verschiedene Einschränkungen aufgezeigt. In dieser Arbeit untersuchen wir eine alternative LSTM-Struktur zur Textkodierung, die einen parallelen Zustand für jedes Wort umfasst. Rekurrente Schritte werden verwendet, um lokal und global gleichzeitig Informationsaustausch zwischen den Wörtern durchzuführen, anstatt die sequenzielle, schrittweise Verarbeitung von Wörtern. Die Ergebnisse verschiedener Klassifikations- und Sequenzbeschriftungsbenchmarks zeigen, dass das vorgeschlagene Modell eine starke Repräsentationskraft besitzt und vergleichsweise hohe Leistungen erzielt, wenn man es mit gestapelten BiLSTM-Modellen mit ähnlicher Anzahl von Parametern vergleicht.