HyperAIHyperAI

Command Palette

Search for a command to run...

Distillation d'ensemble pour l'analyse en constituants non supervisée

Behzad Shayegh Yanshuai Cao Xiaodan Zhu Jackie C.K. Cheung Lili Mou

Résumé

Nous examinons la tâche de parsing en constituants non supervisée, qui organise les mots et les phrases d'une phrase en une structure hiérarchique sans utiliser de données annotées linguistiquement. Nous constatons que les parseurs non supervisés existants capturent des aspects différents des structures de parsing, ce qui peut être exploité pour améliorer les performances du parsing non supervisé. À cette fin, nous proposons le concept de « moyennisation des arbres » (tree averaging), sur la base duquel nous proposons une nouvelle méthode d'ensemble pour le parsing non supervisé. Pour améliorer l'efficacité de l'inférence, nous transférons ensuite les connaissances de l'ensemble à un modèle étudiant ; un tel processus d'ensemble puis de distillation est une approche efficace pour atténuer le problème d'over-smoothing présent dans les méthodes courantes de distillation multi-enseignants. Les expériences montrent que notre méthode surpasse toutes les approches précédentes, démontrant constamment son efficacité et sa robustesse à travers diverses exécutions, avec différents composants d'ensemble, et sous des conditions de changement de domaine.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Distillation d'ensemble pour l'analyse en constituants non supervisée | Articles | HyperAI