Réseaux de neurones CNN à orientation équivariante Générale E(2)

Le succès empirique important des réseaux équivariants par groupe a conduit, ces dernières années, à l’émergence d’une grande diversité d’architectures de réseaux équivariants. Un intérêt particulier s’est porté sur les réseaux convolutifs équivariants aux rotations et aux réflexions pour les images planes. Dans cet article, nous proposons une description générale des convolutions équivariantes par rapport au groupe E(2) dans le cadre des réseaux CNN à orientabilité (Steerable CNNs). La théorie des Steerable CNNs permet ainsi d’obtenir des contraintes sur les noyaux de convolution, qui dépendent des représentations du groupe décrivant les lois de transformation des espaces de caractéristiques. Nous montrons que ces contraintes, valables pour des représentations arbitraires du groupe, peuvent être réduites à des contraintes sous les représentations irréductibles. Une solution générale à la contrainte sur l’espace des noyaux est fournie pour des représentations arbitraires du groupe euclidien E(2) et de ses sous-groupes. Nous implémentons une large gamme d’architectures de réseaux équivariants proposées précédemment ainsi que plusieurs nouvelles architectures entièrement originales, et comparons de manière exhaustive leurs performances. En outre, nous démontrons que les convolutions équivariantes par rapport à E(2) permettent d’obtenir des gains remarquables sur les jeux de données CIFAR-10, CIFAR-100 et STL-10 lorsqu’elles sont utilisées comme remplacement direct (drop-in) des convolutions non équivariantes.