Soft Layer-spezifische Mehrfach-Aufgaben-Zusammenfassung mit Entailment und Fragegenerierung

Eine präzise, abstraktive Zusammenfassung eines Dokuments sollte alle wesentlichen Informationen enthalten und logisch aus dem Eingabedokument abgeleitet sein. Wir verbessern diese wichtigen Aspekte der abstraktiven Zusammenfassung durch mehrfache Aufgabenlernen (Multi-Task Learning) mit den Nebenaufgaben der Fragegenerierung und der Entailment-Generierung. Dabei lehrt die erstere die Zusammenfassungsmodelle, wie sie nach fragenswerten, wesentlichen Details suchen, während die letztere das Modell anweist, eine Zusammenfassung zu formulieren, die ein gerichteter logischer Teilmenge des Eingabedokuments ist. Zudem schlagen wir neuartige Mehrfach-Aufgaben-Architekturen vor, bei denen es zu einer semantischen Schichtspezifischen Teilausnutzung über mehrere Codierungs- und Decodierschichten der drei Aufgaben kommt, sowie zu Soft-Sharing-Mechanismen (und zeigen Leistungsunterschiede sowie Analysebeispiele für jeden Beitrag). Insgesamt erzielen wir statistisch signifikante Verbesserungen im Vergleich zum Stand der Technik sowohl auf den CNN/DailyMail-Datensätzen als auch auf den Gigaword-Datensätzen und in der DUC-2002 Transfer-Einrichtung. Darüber hinaus präsentieren wir mehrere quantitative und qualitative Analysestudien zu den gelernten Salienz- und Entailment-Fähigkeiten unseres Modells.