Réseaux de neurones convolutionnels numériques probabilistes

Les signaux d’entrée continus tels que les images et les séries temporelles échantillonnés de manière irrégulière ou comportant des valeurs manquantes posent des défis aux méthodes actuelles d’apprentissage profond. Des représentations cohérentes des caractéristiques doivent nécessairement dépendre des valeurs dans les régions non observées de l’entrée. Inspirés par les travaux en numérique probabiliste, nous proposons des Réseaux de Neurones Convolutifs Probabilistes (Probabilistic Numeric Convolutional Neural Networks), qui représentent les caractéristiques sous la forme de processus Gaussiens (GPs), offrant ainsi une description probabiliste de l’erreur de discrétisation. Nous définissons ensuite une couche convolutive comme l’évolution d’un PDE (équation aux dérivées partielles) défini sur ce GP, suivie d’une non-linéarité. Cette approche permet naturellement des convolutions équivariantes pilotables, par exemple sous l’action du groupe de rotation. Dans nos expériences, nous montrons que notre méthode réduit l’erreur de 3 fois par rapport à l’état de l’art précédent sur le jeu de données SuperPixel-MNIST, tout en obtenant des performances compétitives sur le jeu de données médical de séries temporelles PhysioNet2012.