MaskGAN: Bessere Textgenerierung durch Ausfüllen der _

Neuronale Textgenerierungsmodelle sind oft autoregressive Sprachmodelle oder Seq2Seq-Modelle. Neuronale autoregressive und Seq2Seq-Modelle, die Text durch sequenzielle Stichproben von Wörtern generieren, wobei jedes Wort bedingt auf die vorherigen Wörter des Modells ist, stellen derzeit den Stand der Technik für mehrere Benchmark-Aufgaben im Bereich maschinelle Übersetzung und Zusammenfassung dar. Diese Benchmarks werden häufig anhand der Validierungsperplexität definiert, obwohl diese kein direktes Maß für die Qualität der generierten Proben ist. Sprachmodelle werden typischerweise mittels Maximum-Likelihood-Schätzung trainiert, meist mit Teacher Forcing. Teacher Forcing eignet sich gut zur Optimierung der Perplexität, kann jedoch zu einer schlechten Probenqualität führen, da die Textgenerierung auf Folgen von Wörtern bedarf, die während des Trainings niemals beobachtet wurden. Wir schlagen vor, die Probenqualität durch den Einsatz von Generativen adversarialen Netzwerken (GANs) zu verbessern, die explizit darauf abzielen, hochwertige Proben zu erzeugen und bereits in der Bildgenerierung große Erfolge erzielt haben. GANs wurden ursprünglich für die Ausgabe differenzierbarer Werte entworfen, weshalb die diskrete Sprachgenerierung für sie herausfordernd ist. Wir stellen ein actor-critic-basiertes bedingtes GAN vor, das fehlenden Text unter Berücksichtigung des umgebenden Kontexts ergänzt. Wir zeigen qualitativ und quantitativ, dass dieses Verfahren realistischere Textproben im Vergleich zu einem Maximum-Likelihood-trainierten Modell erzeugt.