HyperAIHyperAI

Command Palette

Search for a command to run...

Dynamisches Mehrstufiges Multitask-Lernen für die Satzvereinfachung

Han Guo; Ramakanth Pasunuru; Mohit Bansal

Zusammenfassung

Die Satzvereinfachung zielt darauf ab, die Lesbarkeit und Verständlichkeit zu verbessern, indem verschiedene Operationen wie Aufspaltung, Löschung und Umschreibung durchgeführt werden. Ein gültiger vereinfachter Satz sollte jedoch auch logisch aus dem Eingabesatz folgen. In dieser Arbeit stellen wir zunächst ein sequenzbasiertes Modell zur Satzvereinfachung vor, das auf einem starken Pointier-Kopier-Mechanismus basiert, und verbessern dann dessen Entailment- und Umschreibungsleistung durch Multi-Task-Lernen mit verwandten Nebenaufgaben der Entailment-Erzeugung und Umschreibung. Darüber hinaus schlagen wir einen neuen „mehrstufigen“ Schichtenteilungsansatz vor, bei dem jede Nebenaufgabe je nach ihrer semantischen oder lexikalisch-syntaktischen Natur unterschiedliche (höhere gegenüber niedrigere) Schichten des Satzvereinfachungsmodells teilt. Wir führen außerdem einen neuen Trainingsansatz ein, der auf einem mehrarmigen Bandit (multi-armed bandit) basiert und dynamisch lernt, wie man während des Multi-Task-Lernens effektiv zwischen den Aufgaben wechseln kann. Experimente mit mehreren beliebten Datensätzen zeigen, dass unser Modell in den automatischen Metriken SARI und FKGL sowie bei menschlichen Bewertungen wettbewerbsfähige Vereinfachungssysteme übertrifft. Des Weiteren präsentieren wir verschiedene Abschwächungsanalysen alternativer Schichtenteilungsmethoden, weicher versus harter Teilung, dynamischer mehrarmiger Bandit-Sampling-Ansätze und der von unserem Modell gelernten Entailment- und Umschreibungsleistung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dynamisches Mehrstufiges Multitask-Lernen für die Satzvereinfachung | Paper | HyperAI