HyperAIHyperAI

Command Palette

Search for a command to run...

Die Destillation eines Ensembles gieriger Abhängigkeitsparser in einen einzigen MST-Parser

Adhiguna Kuncoro Miguel Ballesteros Lingpeng Kong Chris Dyer Noah A. Smith

Zusammenfassung

Wir stellen zwei graphenbasierte Abhängigkeitsparser erster Ordnung vor, die einen neuen Stand der Technik erreichen. Der erste Parser ist ein Konsensparser, der aus einem Ensemble von unabhängig trainierten gierigen LSTM-Übergangs-Parsern mit unterschiedlichen zufälligen Initialisierungen aufgebaut ist. Wir interpretieren diesen Ansatz als Minimierung des Bayes-Risikos (unter dem Hamming-Kosten) und argumentieren, dass eine schwächere Konsensbildung innerhalb des Ensembles ein nützliches Signal für Schwierigkeit oder Mehrdeutigkeit darstellt. Der zweite Parser ist eine „Destillierung“ des Ensembles in ein einzelnes Modell. Wir trainieren den Destillationsparser unter Verwendung eines strukturierten Hinge-Loss-Zielfunktion mit einer neuartigen Kostenfunktion, die Unsicherheitsschätzungen des Ensembles für jede mögliche Anbindung berücksichtigt. Dies ermöglicht es uns, die bei der Anwendung standardmäßiger Destillationsziele auf Probleme mit strukturierten Ausgaben erforderlichen und nicht handhabbaren Kreuzentropieberechnungen zu vermeiden. Der Parser erster Ordnung zur Destillierung erreicht oder übertrifft den aktuellen Stand der Technik im Englischen, Chinesischen und Deutschen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp