Sequenzlevel-Training mit rekurrenten neuronalen Netzen

Viele Anwendungen der natürlichen Sprachverarbeitung verwenden Sprachmodelle, um Text zu generieren. Diese Modelle werden in der Regel trainiert, das nächste Wort in einer Sequenz vorherzusagen, wobei die vorherigen Wörter und ein Kontext wie ein Bild berücksichtigt werden. Bei der Testzeit wird jedoch erwartet, dass das Modell die gesamte Sequenz von Grund auf neu erstellt. Diese Diskrepanz macht die Generierung anfällig für Fehler, da diese sich im Verlauf des Prozesses häufen können. Wir begegnen diesem Problem durch den Vorschlag eines neuen sequenzbasierten Trainingsalgorithmus, der das während der Testzeit verwendete Metrik direkt optimiert, wie zum Beispiel BLEU oder ROUGE. In drei verschiedenen Aufgaben übertrifft unser Ansatz mehrere starke Baseline-Methoden für gierige Generierung (greedy generation). Die Methode ist auch wettbewerbsfähig, wenn diese Baselines Strahlensuche (beam search) verwenden, und ist dabei mehrere Male schneller.请注意，这里“gierige Generierung”和“Strahlensuche”是“greedy generation”和“beam search”的德语翻译，为了确保信息完整，我在括号中保留了原文。