Lernen, Aufgabenbezogene Baumstrukturen zu Komponieren

Seit Jahren haben rekursive neuronale Netze (RvNNs) sich als geeignet erwiesen, um Text in Vektoren fester Länge darzustellen und dabei gute Leistungen bei mehreren Aufgaben der natürlichen Sprachverarbeitung erzielt. Der Hauptnachteil von RvNNs besteht jedoch darin, dass sie strukturierte Eingaben benötigen, was die Datenvorbereitung und die Modellimplementierung erschwert. In dieser Arbeit schlagen wir das Gumbel Tree-LSTM vor, eine neuartige baumförmige Long Short-Term Memory-Architektur, die effizient lernt, wie man aufgabenbezogene Baumstrukturen ausschließlich aus unstrukturierten Textdaten zusammensetzt. Unser Modell verwendet den Straight-Through Gumbel-Softmax-Schätzer, um dynamisch den Elternknoten unter Kandidaten zu bestimmen und die Gradienten der diskreten Entscheidung zu berechnen. Wir evaluieren das vorgeschlagene Modell anhand von natürlicher Sprachinferenz und Sentimentanalyse und zeigen, dass unser Modell die bisherigen Modelle übertrifft oder zumindest mit ihnen vergleichbar ist. Darüber hinaus stellen wir fest, dass unser Modell signifikant schneller konvergiert als andere Modelle.