Training end-to-end Dialogsysteme mit dem Ubuntu Dialogue Corpus

In diesem Paper analysieren wir dialogbasierte neuronale Netzwerke, die end-to-end mittels einer aktualisierten Version des kürzlich veröffentlichten Ubuntu Dialogue Corpus trainiert wurden – einem Datensatz, der fast eine Million mehrschrittige Dialoge enthält, insgesamt über sieben Millionen Äußerungen und 100 Millionen Wörter umfasst. Dieser Datensatz ist besonders interessant aufgrund seiner Größe, der langen Kontextlängen und seines technischen Charakters; er eignet sich daher ideal, um große Modelle direkt aus Rohdaten zu trainieren, wobei nur geringe Vorverarbeitungsschritte oder Merkmalsingenieurarbeit erforderlich sind. Wir stellen Baseline-Modelle in zwei unterschiedlichen Umgebungen bereit: einer, in der Modelle darauf trainiert werden, die korrekte nächste Äußerung aus einer Liste möglicher Antworten auszuwählen, und einer, in der Modelle darauf optimiert werden, die Log-Wahrscheinlichkeit einer generierten Äußerung unter Berücksichtigung des Gesprächs-Kontexts zu maximieren. Beide Ansätze werden anhand einer Recall-Aufgabe, die wir „Next Utterance Classification (NUC)“ nennen, sowie anhand vektorbasierter Metriken evaluiert, die die thematische Relevanz der Antworten erfassen. Wir stellen fest, dass aktuelle end-to-end-Modelle diese Aufgaben nicht vollständig bewältigen können; daher führen wir eine qualitative Fehleranalyse durch, um die primären Ursachen für Fehler bei end-to-end-Modellen im Rahmen der NUC-Aufgabe zu identifizieren, und untersuchen zufällig ausgewählte Äußerungen von generativen Modellen. Aufgrund dieser Analyse schlagen wir einige vielversprechende Forschungsrichtungen für zukünftige Arbeiten am Ubuntu Dialogue Corpus vor, die sich ebenfalls auf end-to-end-Dialogsysteme im Allgemeinen übertragen lassen.