Lange Textgenerierung durch adversariales Training mit versteckten Informationen

Die automatische Erzeugung kohärenten und semantisch sinnvollen Textes hat viele Anwendungen im maschinellen Übersetzen, Dialogsystemen, Bildunterschriften usw. Kürzlich haben Generative Adversarial Nets (GAN), die ein diskriminatives Modell verwenden, um das Training des generativen Modells als Verstärkungslearning-Richtlinie zu leiten, vielversprechende Ergebnisse bei der Texterzeugung gezeigt. Allerdings ist das skalare Leitzeichen erst nach der vollständigen Erzeugung des gesamten Textes verfügbar und fehlt an Zwischeninformationen über die Textstruktur während des Generierungsprozesses. Dies begrenzt den Erfolg, wenn die Länge der erzeugten Textbeispiele lang ist (mehr als 20 Wörter). In dieser Arbeit schlagen wir ein neues Framework vor, genannt LeakGAN, um dieses Problem für die Erzeugung langer Texte anzugehen. Wir ermöglichen es dem diskriminativen Netzwerk, seine eigenen hochwertig extrahierten Merkmale an das generative Netzwerk weiterzuleiten, um die Leitung weiter zu unterstützen. Der Generator integriert solche informativen Signale in alle Generierungsschritte durch ein zusätzliches Manager-Modul, das die extrahierten Merkmale der aktuell generierten Wörter verarbeitet und einen latenten Vektor ausgibt, um das Worker-Modul bei der Generierung des nächsten Wortes zu leiten. Unsere umfangreichen Experimente mit synthetischen Daten und verschiedenen realen Aufgaben im Rahmen eines Turing-Tests zeigen, dass LeakGAN sehr effektiv bei der Erzeugung langer Texte ist und auch die Leistung bei der Erzeugung kurzer Texte verbessert. Noch wichtiger ist jedoch, dass LeakGAN ohne jede Überwachung in der Lage sein wird, Satzstrukturen nur durch die Interaktion zwischen Manager und Worker implizit zu lernen.