Exploiter la redondance : Réseaux de neurones à convolutions de groupe séparables sur les groupes de Lie

Les réseaux de neurones convolutionnels par groupes (G-CNNs) ont démontré leur capacité à augmenter l'efficacité des paramètres et la précision du modèle en intégrant des biais inductifs géométriques. Dans cette étude, nous examinons les propriétés des représentations apprises par des G-CNNs réguliers et montrons une redondance considérable des paramètres dans les noyaux de convolution par groupes. Cette découverte motive une liaison supplémentaire des poids en partageant les noyaux de convolution sur les sous-groupes. À cet effet, nous introduisons des noyaux de convolution séparables sur les dimensions des sous-groupes et des canaux. Pour obtenir une équivariance à des groupes de Lie affines arbitraires, nous fournissons une paramétrisation continue de noyaux de convolution séparables. Nous évaluons notre approche sur plusieurs ensembles de données visuels et montrons que le partage de poids améliore les performances et l'efficacité computationnelle. Dans de nombreux cas, les G-CNNs séparables surpassent leurs homologues non séparables tout en utilisant seulement une fraction du temps d'entraînement. De plus, grâce à l'augmentation de l'efficacité computationnelle, nous sommes capables d'implémenter des G-CNNs équivariants au groupe $\mathrm{Sim(2)}$ ; le groupe comprenant les dilatations, rotations et translations. L'équivariance $\mathrm{Sim(2)}$ améliore encore davantage les performances sur toutes les tâches considérées.