Aufmerksamkeitsregularisierte sequenz-zu-sequenz-Lernmethoden für die E2E-NLG-Herausforderung

Diese Arbeit beschreibt unser System, das für die End-to-End (E2E)-Natürlichsprachgenerierung (NLG)-Herausforderung eingesetzt wurde. Die Herausforderung sammelt einen neuen Datensatz für gesprochene Dialogsysteme im Restaurantbereich, der eine höhere lexikalische Vielfalt und syntaktische Variation aufweist und zudem eine Inhaltsauswahl erfordert (Novikova et al., 2017). Um diese Herausforderung zu bewältigen, verwenden wir das CAEncoder-verbesserte Sequenz-zu-Sequenz-Lernmodell (Zhang et al., 2017) und schlagen einen Aufmerksamkeits-Regulierer vor, um die Aufmerksamkeitsgewichte über die Eingabewörter gleichmäßiger zu verteilen sowie das Überanpassungsproblem zu kontrollieren. Ohne spezifische Anpassungen erzielt unser System bereits äußerst vielversprechende Ergebnisse. Insbesondere erreicht unser System eine ROUGE-L-Score von 0,7083, den besten Wert unter allen eingereichten Hauptsystemen.