« Où est mon colis ? » Classificateurs rapides et efficaces pour détecter l'intention utilisateur dans le langage naturel

Nous étudions les performances de classificateurs d’intention client conçus pour prédire l’intention la plus fréquente reçue via le service client d’ASOS.com, à savoir « Où est ma commande ? ». Ces requêtes se caractérisent par l’usage de registres familiers, de bruit dans les étiquettes et une longueur de message courte. Nous menons des expérimentations approfondies sur deux modèles de classification bien établis : une régression logistique basée sur des n-grammes, permettant de tenir compte des séquences présentes dans les données, et des réseaux de neurones récurrents capables d’extraire automatiquement ces motifs séquentiels. En maintenant la couche d’embedding fixée aux coordonnées GloVe, un test de Mann-Whitney U indique que le score F1 sur un ensemble de messages non utilisés durant l’entraînement est plus faible pour les classificateurs à réseaux de neurones récurrents que pour les classificateurs linéaires basés sur les n-grammes (M1 = 0,828 ; M2 = 0,815 ; U = 1 196 ; p = 1,46 × 10⁻²⁰), sauf lorsque toutes les couches sont entraînées conjointement avec les autres paramètres du réseau (M1 = 0,831 ; M2 = 0,828 ; U = 4 280 ; p = 8,24 × 10⁻⁴). Ce réseau de neurones simple atteint une performance optimale sur un ensemble de données désincrusté du bruit (F1 = 0,887), correspondant étroitement aux annotations humaines (F1 = 0,889) et surpassant les classificateurs linéaires (F1 = 0,865). En calibrant ces modèles afin d’atteindre des niveaux de précision supérieurs à ceux des humains (0,93 de précision), nos résultats révèlent une légère différence en rappel de 0,05 pour les réseaux de neurones simples (entraînement en moins d’une heure) et de 0,07 pour les n-grammes linéaires (entraînement en moins de dix minutes), ce qui en fait un choix judicieux d’architecture de modèle dans les systèmes modernes d’intelligence artificielle en production.