Stilübertragung für Texte: Wiedertrainieren, Fehler melden, mit Neufassungen vergleichen

Dieses Papier zeigt, dass die Standardbewertungsmethodologie für Stiltransfer mehrere erhebliche Probleme aufweist. Erstens variieren die Standardmetriken für Stilgenauigkeit und Semantikbewahrung stark bei verschiedenen Wiederholungen. Daher muss man Fehlermargen für die erzielten Ergebnisse angeben. Zweitens divergieren die Optimierung dieser beiden Standardmetriken – beginnend mit bestimmten Werten des bilingual evaluation understudy (BLEU) zwischen Eingabe und Ausgabe sowie der Genauigkeit des Sentimenttransfers – vom intuitiven Ziel des Stiltransfer-Tasks. Schließlich besteht aufgrund der Natur der Aufgabe eine spezifische Abhängigkeit zwischen diesen beiden Metriken, die leicht manipuliert werden kann. Unter diesen Umständen schlagen wir vor, den BLEU-Wert zwischen Eingabe und menschlich erstellten Neufassungen bei Benchmarks zu berücksichtigen. Wir stellen außerdem drei neue Architekturen vor, die im Hinblick auf diese Metrik den aktuellen Stand der Technik übertreffen.