Dynamisches Mehrstufiges Multitask-Lernen für die Satzvereinfachung

Die Satzvereinfachung zielt darauf ab, die Lesbarkeit und Verständlichkeit zu verbessern, indem verschiedene Operationen wie Aufspaltung, Löschung und Umschreibung durchgeführt werden. Ein gültiger vereinfachter Satz sollte jedoch auch logisch aus dem Eingabesatz folgen. In dieser Arbeit stellen wir zunächst ein sequenzbasiertes Modell zur Satzvereinfachung vor, das auf einem starken Pointier-Kopier-Mechanismus basiert, und verbessern dann dessen Entailment- und Umschreibungsleistung durch Multi-Task-Lernen mit verwandten Nebenaufgaben der Entailment-Erzeugung und Umschreibung. Darüber hinaus schlagen wir einen neuen „mehrstufigen“ Schichtenteilungsansatz vor, bei dem jede Nebenaufgabe je nach ihrer semantischen oder lexikalisch-syntaktischen Natur unterschiedliche (höhere gegenüber niedrigere) Schichten des Satzvereinfachungsmodells teilt. Wir führen außerdem einen neuen Trainingsansatz ein, der auf einem mehrarmigen Bandit (multi-armed bandit) basiert und dynamisch lernt, wie man während des Multi-Task-Lernens effektiv zwischen den Aufgaben wechseln kann. Experimente mit mehreren beliebten Datensätzen zeigen, dass unser Modell in den automatischen Metriken SARI und FKGL sowie bei menschlichen Bewertungen wettbewerbsfähige Vereinfachungssysteme übertrifft. Des Weiteren präsentieren wir verschiedene Abschwächungsanalysen alternativer Schichtenteilungsmethoden, weicher versus harter Teilung, dynamischer mehrarmiger Bandit-Sampling-Ansätze und der von unserem Modell gelernten Entailment- und Umschreibungsleistung.