RelGAN: Relationale generative adversarische Netzwerke für die Textgenerierung

Generative adversariale Netzwerke (GANs) haben bei der Erzeugung realistischer Bilder erhebliche Erfolge erzielt. Die Textgenerierung bleibt jedoch eine herausfordernde Aufgabe für moderne GAN-Architekturen. In dieser Arbeit stellen wir RelGAN vor, eine neue GAN-Architektur für die Textgenerierung, die aus drei zentralen Komponenten besteht: einem relationalen Speicher-basierten Generator zur Modellierung langstreckiger Abhängigkeiten, der Gumbel-Softmax-Relaxation zur Training von GANs auf diskreten Daten sowie mehreren eingebetteten Darstellungen im Diskriminator, um dem Generator eine informativere Signalquelle für die Aktualisierung zu bieten. Unsere Experimente zeigen, dass RelGAN gegenwärtige state-of-the-art-Modelle hinsichtlich der Qualität und Vielfalt der generierten Proben übertrifft, und durch Ablationsstudien wird zudem nachgewiesen, dass jede Komponente von RelGAN entscheidend zur Leistungssteigerung beiträgt. Darüber hinaus bietet unsere Methode einen wesentlichen Vorteil gegenüber anderen GANs: die Möglichkeit, die Abwägung zwischen Probenqualität und Vielfalt über einen einzigen einstellbaren Parameter zu steuern. Schließlich ist RelGAN die erste Architektur, die es ermöglicht, GANs mit Gumbel-Softmax-Relaxation erfolgreich zur Generierung realistischer Texte einzusetzen.