HyperAIHyperAI

Command Palette

Search for a command to run...

Ensemble-Distillation für unüberwachtes Konstituentenparsing

Behzad Shayegh Yanshuai Cao Xiaodan Zhu Jackie C.K. Cheung Lili Mou

Zusammenfassung

Wir untersuchen die Aufgabe des unüberwachten Konstituentenparsings, bei der Wörter und Phrasen eines Satzes in eine hierarchische Struktur organisiert werden, ohne sprachlich annotierte Daten zu verwenden. Wir stellen fest, dass bestehende unüberwachte Parser verschiedene Aspekte von Parsing-Strukturen erfassen, die genutzt werden können, um die Leistung des unüberwachten Parsings zu verbessern. Zu diesem Zweck schlagen wir den Begriff der „Baum-Durchschnittsbildung“ (tree averaging) vor und entwickeln auf dieser Grundlage eine neue Ensemble-Methode für das unüberwachte Parsing. Um die Inferenz-Effizienz zu steigern, kondensieren wir das Ensemble-Wissen in ein Schülermodell; ein solcher Prozess der Ensemble-Bildung gefolgt von Kondensation ist ein effektiver Ansatz, um das Überglättungsproblem zu mildern, das in gängigen Mehrlehrer-Kondensationsmethoden besteht. Experimente zeigen, dass unsere Methode alle bisherigen Ansätze übertrifft und ihre Effektivität und Robustheit konsistent unter verschiedenen Läufen, mit unterschiedlichen Ensemble-Komponenten und bei Domänenverschiebungen demonstriert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp