Distillation d'ensemble pour l'analyse en constituants non supervisée

Nous examinons la tâche de parsing en constituants non supervisée, qui organise les mots et les phrases d'une phrase en une structure hiérarchique sans utiliser de données annotées linguistiquement. Nous constatons que les parseurs non supervisés existants capturent des aspects différents des structures de parsing, ce qui peut être exploité pour améliorer les performances du parsing non supervisé. À cette fin, nous proposons le concept de « moyennisation des arbres » (tree averaging), sur la base duquel nous proposons une nouvelle méthode d'ensemble pour le parsing non supervisé. Pour améliorer l'efficacité de l'inférence, nous transférons ensuite les connaissances de l'ensemble à un modèle étudiant ; un tel processus d'ensemble puis de distillation est une approche efficace pour atténuer le problème d'over-smoothing présent dans les méthodes courantes de distillation multi-enseignants. Les expériences montrent que notre méthode surpasse toutes les approches précédentes, démontrant constamment son efficacité et sa robustesse à travers diverses exécutions, avec différents composants d'ensemble, et sous des conditions de changement de domaine.