Unsupervised Latent Tree Induction mit Deep Inside-Outside Recursive Auto-Encoders

Wir stellen den tiefen Inside-Outside-Recursive-Autoencoder (DIORA) vor, eine vollständig unüberwachte Methode zur Syntaxentdeckung, die gleichzeitig Darstellungen für die Bestandteile innerhalb des induzierten Baums lernt. Unser Ansatz prognostiziert jedes Wort in einem Eingabesatz bedingt auf den Rest des Satzes. Während des Trainings nutzen wir dynamische Programmierung, um alle möglichen binären Bäume über dem Satz zu berücksichtigen, und für die Inferenz verwenden wir den CKY-Algorithmus, um den höchstbewerteten Parse zu extrahieren. DIORA erreicht eine bessere Leistung als bisher veröffentlichte Ergebnisse für unüberwachte binäre Constituency-Parsing-Aufgaben auf der Benchmark-WSJ-Datenbank.