PDO-eConvs : Convolutions équivariantes basées sur les opérateurs différentiels partiels

Des recherches récentes ont montré que l'intégration de l'équivariance dans les architectures de réseaux neuronaux est très bénéfique, et plusieurs travaux ont investigué l'équivariance des réseaux sous les actions de groupes. Cependant, comme les images numériques et les cartes de caractéristiques sont sur une grille discrète, les groupes de transformations préservant l'équivariance correspondante sont très limités. Dans ce travail, nous abordons cette question en établissant un lien entre les convolutions et les opérateurs différentiels partiels (PDOs). Théoriquement, en supposant que les entrées soient lisses, nous transformons les PDOs et proposons un système qui est équivariant à un groupe continu beaucoup plus général, le groupe euclidien $n$-dimensionnel. En pratique, nous discrétisons le système en utilisant des schémas numériques pour les PDOs, dérivant ainsi des convolutions approximativement équivariantes (PDO-eConvs). Théoriquement, l'erreur d'approximation des PDO-eConvs est d'ordre quadratique. Il s'agit de la première analyse d'erreur fournie lorsque l'équivariance est approximative. De nombreuses expérimentations sur MNIST tourné et la classification d'images naturelles montrent que les PDO-eConvs offrent des performances compétitives tout en utilisant les paramètres beaucoup plus efficacement. Particulièrement, comparés aux Wide ResNets, nos méthodes produisent de meilleurs résultats en utilisant seulement 12,6% des paramètres.