Détection non supervisée en temps réel des anomalies pour les données en flux

Nous assistons à une augmentation considérable de la disponibilité des données en continu, sous forme de flux temporels. Cette évolution, principalement entraînée par l’essor des sources de données en temps réel connectées, pose de nouveaux défis techniques tout en ouvrant des opportunités prometteuses. Une capacité fondamentale de l’analyse en temps réel des flux consiste à modéliser chaque flux de manière non supervisée et à détecter en temps réel des comportements anormaux ou atypiques. La détection précoce des anomalies est particulièrement précieuse, mais peut s’avérer difficile à mettre en œuvre de manière fiable en pratique. Les contraintes applicatives imposent aux systèmes de traiter les données en temps réel, et non par lots. Les données en flux présentent naturellement un décalage de concept (concept drift), ce qui favorise l’utilisation d’algorithmes capables d’apprentissage continu. En outre, le nombre massif de flux indépendants rencontrés en pratique exige que les détecteurs d’anomalies soient entièrement automatisés. Dans cet article, nous proposons un nouvel algorithme de détection d’anomalies répondant à ces contraintes. Cette méthode s’appuie sur un algorithme de mémoire séquentielle en ligne appelé Mémoire Temporelle Hiérarchique (HTM, Hierarchical Temporal Memory). Nous présentons également des résultats obtenus sur le Numenta Anomaly Benchmark (NAB), un benchmark comprenant des flux de données réelles annotés avec des anomalies. Ce benchmark, le premier de son genre, offre un environnement ouvert et contrôlé pour tester les algorithmes de détection d’anomalies sur des données en flux. Nous analysons les performances de nombreux algorithmes sur ce benchmark, et discutons des défis futurs auxquels devra faire face le domaine émergent de l’analyse en temps réel des flux de données.