HyperAIHyperAI

Command Palette

Search for a command to run...

Unsupervisedes Parsing mit S-DIORA: Single Tree Encoding für Deep Inside-Outside Recursive Autoencoders

Andrew McCallum Mohit Iyyer Tim O'Gorman Yi-Pei Chen Subendhu Rongali Andrew Drozdov

Zusammenfassung

Der tiefgreifende innen-aus-extern rekursive Autoencoder (DIORA; Drozdov et al. 2019) ist ein selbstüberwachtes neuronales Modell, das lernt, syntaktische Baumstrukturen für Eingabesätze ohne Zugriff auf gelabelte Trainingsdaten zu induzieren. In dieser Arbeit entdecken wir, dass DIORA, obwohl es alle möglichen binären Bäume eines Satzes mit einer weichen dynamischen Programmierung erschöpfend kodiert, aufgrund seines Vektor-Averaging-Ansatzes lokal gierig vorgeht und Fehler bei der Berechnung des hochbewerteten Parsebaums im bottom-up Chart-Parsing nicht korrigieren kann. Um dieses Problem zu beheben, führen wir S-DIORA ein, eine verbesserte Variante von DIORA, die anstelle einer weich gewichteten Mischung aus Bäumen jeweils nur einen einzelnen Baum kodiert, indem sie eine harte Argmax-Operation sowie einen Beam in jeder Zelle des Chart-Netzwerks einsetzt. Unsere Experimente zeigen, dass sich durch Feinabstimmung eines vortrainierten DIORA-Modells mit unserem neuen Algorithmus die bisher beste Leistung in der unüberwachten Konstituenten-Parsing-Aufgabe am englischen WSJ Penn Treebank um 2,2 bis 6 % F1 steigert, je nach verwendeten Daten für die Feinabstimmung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp