Strukturelle Optimierung, Ambiguität und Einfachheitsverzerrung bei der unüberwachten neuronalen Grammatikinduktion

Die neurale Parametrisierung hat die unüberwachte Grammatikinduktion erheblich vorangebracht. Allerdings verschärfen das Training dieser Modelle mit einem traditionellen Likelihood-Verlust für alle möglichen Parsen zwei Probleme: 1) die strukturelle Optimierungsumbiguität (structural optimization ambiguity), die willkürlich eine der strukturell ambigen optimalen Grammatiken auswählt, obwohl es spezifische Präferenzen für Gold-Parsen gibt, und 2) den strukturellen Einfachheitsbias (structural simplicity bias), der dazu führt, dass ein Modell Regeln zur Komposition von Parse-Bäumen unternutzt. Diese Herausforderungen machen die unüberwachte neuronale Grammatikinduktion (UNGI) anfällig für unvermeidliche Vorhersagefehler, hohe Varianz und die Notwendigkeit umfangreicher Grammatiken, um genaue Vorhersagen zu erreichen. In diesem Artikel werden diese Probleme angegangen und eine umfassende Analyse ihrer Ursprünge präsentiert. Als Lösung führen wir satzweise Fokussierung auf Parsen (sentence-wise parse-focusing) ein, um den Pool der Parsen pro Satz für die Verlustbewertung zu reduzieren, wobei wir den strukturellen Bias von vortrainierten Parsern auf demselben Datensatz nutzen. In Benchmarks für unüberwachtes Parsing verbessert unsere Methode die Leistungsignifikant, während sie gleichzeitig Varianz und Bias zu übermäßig einfachen Parsen effektiv reduziert. Unsere Forschung fördert das Lernen kompakterer, genauerer und konsistenterer expliziter Grammatiken, was eine bessere Interpretierbarkeit ermöglicht.