USR: Ein unsupervisionierter und referenzfreier Bewertungsmaßstab für Dialoggenerierung

Der Mangel an sinnvollen automatisierten Bewertungsmetriken für Dialoge hat die Forschung im Bereich offener Domänen-Dialoge erheblich beeinträchtigt. Standard-Metriken zur Sprachgenerierung haben sich als unwirksam für die Bewertung von Dialogmodellen erwiesen. Um diesem Problem entgegenzuwirken, präsentiert dieser Artikel USR – eine unsupervisierte und referenzfreie Bewertungsmetrik für Dialoge. USR ist eine referenzfreie Metrik, die unsupervisierte Modelle nutzt, um mehrere wünschenswerte Eigenschaften von Dialogen zu messen. Es wird gezeigt, dass USR eine starke Korrelation mit menschlichen Beurteilungen auf beiden Datensätzen Topical-Chat (turn-basiert: 0,42, system-basiert: 1,0) und PersonaChat (turn-basiert: 0,48, system-basiert: 1,0) aufweist. Zudem liefert USR interpretierbare Maße für mehrere wünschenswerte Eigenschaften von Dialogen.