Intégration des connaissances a priori dans les réseaux de neurones par un noyau composé implicite

Il est difficile de guider l’apprentissage des réseaux de neurones (NN) à l’aide de connaissances a priori. En revanche, de nombreuses propriétés connues, telles que la régularité spatiale ou la saisonnalité, peuvent être modélisées de manière directe en choisissant un noyau approprié dans un processus gaussien (GP). De nombreuses applications du deep learning pourraient être améliorées par la prise en compte de telles propriétés connues. Par exemple, les réseaux de neurones convolutifs (CNN) sont fréquemment utilisés en télédétection, un domaine fortement affecté par des effets saisonniers. Nous proposons de combiner les forces du deep learning et les capacités explicites de modélisation des processus gaussiens en utilisant un noyau composé qui associe un noyau implicitement défini par un réseau de neurones à un second noyau choisi pour modéliser des propriétés connues (par exemple, la saisonnalité). Nous mettons en œuvre cette idée en combinant un réseau profond avec une application efficace basée sur l’approximation de Nystrom, que nous appelons noyau composé implicite (Implicit Composite Kernel, ICK). Nous adoptons ensuite une approche d’échantillonnage-suivi-par-optimisation pour approximer la distribution a posteriori complète du GP. Nous démontrons que ICK présente des performances supérieures et une grande flexibilité sur des jeux de données synthétiques et réels. Nous estimons que le cadre ICK peut être appliqué à l’intégration d’informations a priori dans les réseaux de neurones dans de nombreuses applications.