SOM-VAE : Apprentissage de représentations discrètes interprétables sur des séries temporelles

Les séries temporelles de grande dimension sont courantes dans de nombreux domaines. Étant donné que la cognition humaine n'est pas optimisée pour fonctionner efficacement dans des espaces de grande dimension, ces domaines pourraient bénéficier de représentations interprétables à faible dimension. Cependant, la plupart des algorithmes d'apprentissage de représentation pour les données de séries temporelles sont difficiles à interpréter. Cette difficulté est due à des mappages non intuitifs entre les caractéristiques des données et les propriétés saillantes de la représentation, ainsi qu'à une non-linéarité temporelle. Pour résoudre ce problème, nous proposons un nouveau cadre d'apprentissage de représentation s'appuyant sur des idées issues de la réduction de dimension discrète interprétable et du modèle génératif profond. Ce cadre nous permet d'apprendre des représentations discrètes des séries temporelles, qui génèrent des plongements lisses et interprétables avec une performance supérieure en clustering. Nous introduisons une nouvelle méthode pour surmonter la non-différentiabilité dans l'apprentissage de représentation discrète et présentons une version basée sur le gradient de l'algorithme traditionnel des cartes auto-organisatrices (SOM), plus performante que l'original. De plus, afin d'autoriser une interprétation probabiliste de notre méthode, nous intégrons un modèle de Markov dans l'espace de représentation. Ce modèle révèle la structure des transitions temporelles, améliore encore davantage la performance en clustering et fournit des insights explicatifs supplémentaires ainsi qu'une représentation naturelle de l'incertitude. Nous évaluons notre modèle en termes de performance en clustering et d'interprétabilité sur des données statiques (Fashion-)MNIST, une série temporelle d'images (Fashion-)MNIST interpolées linéairement, un système chaotique d'attracteur de Lorenz avec deux états macroscopiques, ainsi que sur une application complexe aux données médicales réelles du jeu de données eICU. Nos représentations apprises se comparent favorablement aux méthodes concurrentes et facilitent les tâches downstream sur les données réelles.