DATE : Détection des anomalies dans le texte par auto-supervision des Transformers

L’utilisation de modèles d’apprentissage profond pour la détection d’anomalies (AD) connaît un essor considérable ces dernières années, en raison de leurs performances supérieures par rapport aux méthodes traditionnelles. Les approches récentes basées sur l’apprentissage profond pour la détection d’anomalies dans les images permettent d’apprendre des représentations plus riches de la normalité dans un cadre auto-supervisé end-to-end. Ces méthodes entraînent un modèle à distinguer entre différentes transformations appliquées aux données visuelles, puis utilisent la sortie pour calculer un score d’anomalie. Nous adoptons cette approche pour la détection d’anomalies dans les textes, en introduisant une nouvelle tâche prétexte sur les séquences de texte. Notre modèle DATE est entraîné de manière end-to-end, en imposant deux signaux d’auto-supervision indépendants et complémentaires : l’un au niveau des tokens, l’autre au niveau des séquences. Dans ce cadre de tâche reformulée, nous obtenons des résultats quantitatifs et qualitatifs convaincants sur les jeux de données 20Newsgroups et AG News. Dans un cadre semi-supervisé, nous surpassons les résultats les plus avancés de +13,5 % et +6,9 % respectivement (AUROC). Dans la configuration non supervisée, DATE surpasse toutes les autres méthodes, même lorsque 10 % des données d’entraînement sont contaminées par des anomalies (contre 0 % pour les autres méthodes).