Command Palette
Search for a command to run...
Détection et découverte d'intentions à partir des journaux utilisateurs par clustering contrastif semi-supervisé profond
{Gautam Shroff Lovekesh Vig Vaibhav Varshney Mayur Patidar Rajat Kumar}

Résumé
La détection d’intention est une composante essentielle des systèmes de dialogue, dont l’objectif consiste à classer une utterance utilisateur parmi un ensemble prédéfini d’intentions. Un prérequis fondamental pour développer un identificateur d’intention efficace est un jeu de données d’entraînement étiqueté avec toutes les intentions utilisateur possibles. Toutefois, même des experts domaines compétents sont souvent incapables de prévoir toutes les intentions possibles au moment de la conception, et dans les applications pratiques, de nouvelles intentions doivent être inférées de manière incrémentale et en temps réel à partir des utterances des utilisateurs. Par conséquent, dans tout système de dialogue du monde réel, le nombre d’intentions augmente au fil du temps, et de nouvelles intentions doivent être découvertes en analysant les utterances situées en dehors de l’ensemble existant d’intentions. Dans cet article, notre objectif est de : i) détecter les utterances correspondant à des intentions connues parmi un grand nombre d’échantillons non étiquetés, à partir de quelques exemples étiquetés ; et ii) découvrir de nouvelles intentions inconnues parmi les échantillons restants non étiquetés. Les approches actuelles de pointe abordent ce problème par apprentissage de représentations alternées et regroupement (clustering), où des pseudo-étiquettes sont utilisées pour mettre à jour les représentations, tandis que le clustering permet de générer ces pseudo-étiquettes. Contrairement aux approches existantes qui reposent sur une alignement des clusters par époque, nous proposons un algorithme de clustering contrastif profond end-to-end qui met à jour simultanément les paramètres du modèle et les centres de clusters grâce à un apprentissage supervisé et auto-supervisé, en exploitant de manière optimale à la fois les données étiquetées et non étiquetées. Notre approche proposée surpassent les méthodes de référence compétitives sur cinq jeux de données publics dans les deux scénarios suivants : (i) lorsque le nombre d’intentions non découvertes est connu à l’avance ; et (ii) lorsque le nombre d’intentions est estimé par un algorithme. Nous proposons également une variante « humain dans la boucle » de notre approche, adaptée au déploiement pratique, qui ne nécessite pas d’estimation préalable des nouvelles intentions et surpasse l’approche end-to-end.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| open-intent-discovery-on-banking77 | DSSCC | ACC: 69.82 ARI: 0.5809 NMI: 0.8124 |
| open-intent-discovery-on-clinc150 | DSSCC | ACC: 87.91 ARI: 0.8109 NMI: 0.9387 |
| open-intent-discovery-on-dbpedia | DSSCC | Clustering Accuracy: 92.73 |
| open-intent-discovery-on-snips | DSSCC | ACC: 94.87 ARI: 89.03 NMI: 90.44 |
| open-intent-discovery-on-stackoverflow | DSSCC | ACC: 82.65 ARI: 68.67 NMI: 77.08 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.