Entdeckung neuer Absichten durch restringiertes tiefes adaptives Clustering mit Clusterverfeinerung

Die Identifizierung neuer Benutzerabsichten ist eine wesentliche Aufgabe im Dialogsystem. Allerdings ist es schwierig, zufriedenstellende Clusternergebnisse zu erzielen, da die Definition von Absichten stark durch Vorwissen geleitet wird. Bestehende Methoden integrieren dieses Vorwissen durch aufwendige Merkmalsingenieurleistungen (Feature Engineering), was nicht nur zu Überanpassung führt, sondern auch die Empfindlichkeit gegenüber der Anzahl der Cluster erhöht. In dieser Arbeit schlagen wir das verfeinerte Clustering mit Cluster-Verbesserung unter Nebenbedingungen (constrained deep adaptive clustering with cluster refinement, CDAC+) vor, eine end-to-end-Clustermethode, die paarweise Nebenbedingungen als Vorwissen natürlicherweise in den Clustervorgang einbeziehen kann. Darüber hinaus verbessern wir die Cluster durch das Zwingen des Modells, aus Zuordnungen mit hoher Konfidenz zu lernen. Nach dem Ausschluss von Zuordnungen mit niedriger Konfidenz zeigt sich, dass unser Ansatz überraschend unempfindlich gegenüber der Anzahl der Cluster ist. Experimentelle Ergebnisse auf drei Benchmark-Datensätzen zeigen, dass unsere Methode signifikante Verbesserungen gegenüber starken Baseline-Methoden erzielen kann.