Verbesserte semantische Repräsentationen durch baumstrukturierte Long Short-Term Memory-Netzwerke

Aufgrund ihrer überlegenen Fähigkeit, sequenzielle Informationen über die Zeit hinweg zu bewahren, haben Long Short-Term Memory (LSTM)-Netze, eine Art rekurrenter Neuronaler Netze mit einer komplexeren Recheneinheit, starke Ergebnisse bei verschiedenen sequenziellen Modellierungsaufgaben erzielt. Bislang wurde jedoch nur die lineare Kette als zugrundeliegende LSTM-Struktur untersucht. Die natürliche Sprache zeigt jedoch syntaktische Eigenschaften, die Wörter zu Phrasen kombinieren. Wir stellen den Tree-LSTM vor, eine Verallgemeinerung von LSTMs auf baumförmige Netztopologien. Tree-LSTMs übertreffen alle bestehenden Systeme und starke LSTM-Baselines bei zwei Aufgaben: der Vorhersage der semantischen Ähnlichkeit zweier Sätze (SemEval 2014, Task 1) und der Stimmungsanalyse (Stanford Sentiment Treebank).