Réseaux de champs de vecteurs équivariants à la rotation

Dans de nombreuses tâches de vision par ordinateur, on s'attend à un comportement particulier de la sortie en fonction des rotations de l'image d'entrée. Si cette relation est explicitement encodée, plutôt que traitée comme une autre variation, la complexité du problème est réduite, entraînant une diminution de la taille du modèle nécessaire. Dans cet article, nous proposons les Réseaux de Champs Vectoriels Équivariants aux Rotations (RotEqNet), une architecture de Réseau Neuronal Convolutif (CNN) qui encode l'équivariance, l'invariance et la covariance rotatoire. Chaque filtre convolutif est appliqué à plusieurs orientations et retourne un champ vectoriel représentant la magnitude et l'angle de l'orientation ayant obtenu le meilleur score à chaque position spatiale. Nous développons un opérateur de convolution modifié basé sur cette représentation pour obtenir des architectures profondes. Nous testons RotEqNet sur plusieurs problèmes nécessitant des réponses différentes en fonction de la rotation des entrées : classification d'images, segmentation d'images biomédicales, estimation d'orientation et correspondance de patches. Dans tous les cas, nous montrons que RotEqNet offre des modèles extrêmement compacts en termes de nombre de paramètres et fournit des résultats comparables à ceux des réseaux plus grands d'un ordre de grandeur ou plus.