Ensemble-Distillation für unüberwachtes Konstituentenparsing

Wir untersuchen die Aufgabe des unüberwachten Konstituentenparsings, bei der Wörter und Phrasen eines Satzes in eine hierarchische Struktur organisiert werden, ohne sprachlich annotierte Daten zu verwenden. Wir stellen fest, dass bestehende unüberwachte Parser verschiedene Aspekte von Parsing-Strukturen erfassen, die genutzt werden können, um die Leistung des unüberwachten Parsings zu verbessern. Zu diesem Zweck schlagen wir den Begriff der „Baum-Durchschnittsbildung“ (tree averaging) vor und entwickeln auf dieser Grundlage eine neue Ensemble-Methode für das unüberwachte Parsing. Um die Inferenz-Effizienz zu steigern, kondensieren wir das Ensemble-Wissen in ein Schülermodell; ein solcher Prozess der Ensemble-Bildung gefolgt von Kondensation ist ein effektiver Ansatz, um das Überglättungsproblem zu mildern, das in gängigen Mehrlehrer-Kondensationsmethoden besteht. Experimente zeigen, dass unsere Methode alle bisherigen Ansätze übertrifft und ihre Effektivität und Robustheit konsistent unter verschiedenen Läufen, mit unterschiedlichen Ensemble-Komponenten und bei Domänenverschiebungen demonstriert.