Absichtserkennung und -entdeckung aus Nutzerprotokollen mittels tiefer halbüberwachter kontrastiver Clustering
{Gautam Shroff Lovekesh Vig Vaibhav Varshney Mayur Patidar Rajat Kumar}

Abstract
Die Absichtserkennung ist eine zentrale Komponente von Dialogsystemen, bei der die Aufgabe darin besteht, eine Benutzeräußerung in eine der mehreren vordefinierten Absichten einzuteilen. Eine Voraussetzung für die Entwicklung eines effektiven Absichtserkenners ist eine Trainingsdatenbank, die mit allen möglichen Benutzerabsichten beschriftet ist. Doch selbst erfahrene Fachexperten können zu Entwurfszeit oft nicht alle möglichen Benutzerabsichten vorhersehen, und für praktische Anwendungen müssen neue Absichten inkrementell und in Echtzeit aus Benutzeräußerungen abgeleitet werden. Daher nimmt die Anzahl der Absichten in jedem realen Dialogsystem im Laufe der Zeit stetig zu, und neue Absichten müssen durch Analyse von Äußerungen außerhalb des bestehenden Absichtssatzes entdeckt werden. In diesem Paper zielen wir darauf ab, (i) bekannte Absichtsäußerungen aus einer großen Menge unlabeleder Äußerungsproben zu erkennen, gegeben nur wenige beschriftete Proben, und (ii) neue, unbekannte Absichten aus den verbleibenden unlabeleden Proben zu entdecken. Bestehende State-of-the-Art-Ansätze behandeln dieses Problem durch alternierendes Repräsentationslernen und Clustering, wobei Pseudolabels zur Aktualisierung der Repräsentationen und Clustering zur Generierung der Pseudolabels verwendet werden. Im Gegensatz zu bestehenden Ansätzen, die auf einer epochenweisen Clusterausrichtung basieren, schlagen wir einen end-to-end Deep Contrastive Clustering-Algorithmus vor, der Modellparameter und Clusterzentren gleichzeitig über überwachtes und selbstüberwachtes Lernen aktualisiert und sowohl beschriftete als auch unlabeled Daten optimal nutzt. Unser vorgeschlagener Ansatz erreicht auf fünf öffentlichen Datensätzen sowohl bei der Szenario-Option (i), bei der die Anzahl der noch nicht entdeckten Absichten im Voraus bekannt ist, als auch bei der Szenario-Option (ii), bei der die Anzahl der Absichten durch einen Algorithmus geschätzt wird, eine überlegene Leistung gegenüber konkurrierenden Baselines. Zudem präsentieren wir eine human-in-the-loop-Variante unseres Ansatzes für die praktische Anwendung, die keine Schätzung neuer Absichten erfordert und die Leistung des end-to-end-Ansatzes übertrifft.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| open-intent-discovery-on-banking77 | DSSCC | ACC: 69.82 ARI: 0.5809 NMI: 0.8124 |
| open-intent-discovery-on-clinc150 | DSSCC | ACC: 87.91 ARI: 0.8109 NMI: 0.9387 |
| open-intent-discovery-on-dbpedia | DSSCC | Clustering Accuracy: 92.73 |
| open-intent-discovery-on-snips | DSSCC | ACC: 94.87 ARI: 89.03 NMI: 90.44 |
| open-intent-discovery-on-stackoverflow | DSSCC | ACC: 82.65 ARI: 68.67 NMI: 77.08 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.