Mehrskalige Rekurrente Neuronale Netze: Eine Anwendung zur Generierung von Dialogantworten

Wir stellen das mehrschichtige rekurrente Neuronale Netzwerk (Multiresolution Recurrent Neural Network) vor, das den sequenz-basierten Ansatz erweitert, um die natürliche Sprachgenerierung als zwei parallele diskrete stochastische Prozesse zu modellieren: eine Sequenz von hochstufigen groben Token und eine Sequenz von natürlichen Sprachtokens. Es gibt viele Möglichkeiten, die hochstufigen groben Token zu schätzen oder zu lernen, aber wir argumentieren, dass ein einfaches Extraktionsverfahren ausreichend ist, um eine Fülle von hochstufigen Diskurssemantiken zu erfassen. Dieses Verfahren ermöglicht es, das mehrschichtige rekurrente Neuronale Netzwerk durch die Maximierung der exakten gemeinsamen Log-Likelihood über beide Sequenzen zu trainieren. Im Gegensatz zum standardmäßigen Log-Likelihood-Ziel in Bezug auf natürliche Sprachtokens (Wortperplexität) führt die Optimierung der gemeinsamen Log-Likelihood dazu, dass das Modell eher hochstufige Abstraktionen modelliert. Wir wenden das vorgeschlagene Modell auf die Aufgabe der Dialogantwortgenerierung in zwei anspruchsvollen Domänen an: dem Bereich technischer Unterstützung für Ubuntu und Twitter-Gesprächen. Bei Ubuntu übertreffen die Ergebnisse des Modells die konkurrierenden Ansätze deutlich und erreichen nach automatischen Evaluationsmetriken sowie einer menschlichen Bewertungsstudie den aktuellen Stand der Technik. Bei Twitter erzeugt das Modell laut automatischen Evaluationsmetriken offensichtlich relevantere und thematisch angemessenere Antworten. Schließlich zeigen unsere Experimente, dass das vorgeschlagene Modell besser in der Lage ist, die Sparsamkeit der natürlichen Sprache zu überwinden und langfristige Strukturen besser zu erfassen.