HyperAIHyperAI

Command Palette

Search for a command to run...

MaskGAN: Bessere Textgenerierung durch Ausfüllen der _

William Fedus Ian Goodfellow Andrew M. Dai

Zusammenfassung

Neuronale Textgenerierungsmodelle sind oft autoregressive Sprachmodelle oder Seq2Seq-Modelle. Neuronale autoregressive und Seq2Seq-Modelle, die Text durch sequenzielle Stichproben von Wörtern generieren, wobei jedes Wort bedingt auf die vorherigen Wörter des Modells ist, stellen derzeit den Stand der Technik für mehrere Benchmark-Aufgaben im Bereich maschinelle Übersetzung und Zusammenfassung dar. Diese Benchmarks werden häufig anhand der Validierungsperplexität definiert, obwohl diese kein direktes Maß für die Qualität der generierten Proben ist. Sprachmodelle werden typischerweise mittels Maximum-Likelihood-Schätzung trainiert, meist mit Teacher Forcing. Teacher Forcing eignet sich gut zur Optimierung der Perplexität, kann jedoch zu einer schlechten Probenqualität führen, da die Textgenerierung auf Folgen von Wörtern bedarf, die während des Trainings niemals beobachtet wurden. Wir schlagen vor, die Probenqualität durch den Einsatz von Generativen adversarialen Netzwerken (GANs) zu verbessern, die explizit darauf abzielen, hochwertige Proben zu erzeugen und bereits in der Bildgenerierung große Erfolge erzielt haben. GANs wurden ursprünglich für die Ausgabe differenzierbarer Werte entworfen, weshalb die diskrete Sprachgenerierung für sie herausfordernd ist. Wir stellen ein actor-critic-basiertes bedingtes GAN vor, das fehlenden Text unter Berücksichtigung des umgebenden Kontexts ergänzt. Wir zeigen qualitativ und quantitativ, dass dieses Verfahren realistischere Textproben im Vergleich zu einem Maximum-Likelihood-trainierten Modell erzeugt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp