Kopiermechanismus und angepasste Schulung für zeichenbasierte Daten-zu-Text-Generierung

In den letzten Jahren haben sich viele verschiedene Methoden darauf konzentriert, tiefe rekurrente Neuronale Netze für die natürliche Sprachgenerierung zu verwenden. Die am häufigsten eingesetzten sequenzbasierten neuronalen Methoden sind wortbasiert: Sie erfordern daher eine vorverarbeitungsschritt, der als Delexicalisierung (umgekehrt Relexicalisierung) bezeichnet wird, um mit ungewöhnlichen oder unbekannten Wörtern umzugehen. Diese Formen der Verarbeitung führen jedoch zu Modellen, die von dem verwendeten Wortschatz abhängig sind und nicht vollständig neuronal sind.In dieser Arbeit stellen wir ein end-to-end sequenzbasiertes Modell mit Aufmerksamkeitsmechanismus vor, das auf Zeichenbasis liest und generiert und somit keine Delexicalisierung, Tokenisierung oder sogar Verkleinerung des Textes mehr benötigt. Da Zeichen die gemeinsamen "Bausteine" jedes Textes darstellen, ermöglicht dieses Modell auch einen allgemeineren Ansatz zur Textgenerierung und erlaubt es, Transfer Learning für das Training auszunutzen. Diese Fähigkeiten werden durch zwei wesentliche Merkmale erreicht: (i) die Möglichkeit, zwischen dem standardmäßigen Generierungsmechanismus und einem Kopiermechanismus zu wechseln, der es ermöglicht, Eingabefakten direkt zu kopieren, um Ausgaben zu produzieren, und (ii) die Verwendung eines originellen Trainingspipelines, die die Qualität der generierten Texte weiter verbessert.Darüber hinainaus führen wir einen neuen Datensatz namens E2E+ ein, der entwickelt wurde, um die Kopierfähigkeiten zeichenbasierter Modelle hervorzuheben. Dieser ist eine modifizierte Version des bekannten E2E-Datensatzes, der im E2E-Challenge verwendet wird. Wir haben unser Modell anhand von fünf weit verbreiteten Metriken getestet (darunter der weit verbreitete BLEU), wobei gezeigt wurde, dass es sowohl gegenüber zeichenbasierten als auch wortbasierten Ansätzen wettbewerbsfähige Leistungen erzielt.