L’équivariance à l’échelle améliore le suivi similaire

Les traqueurs Siamese transforment le suivi en une estimation de similarité entre un modèle et les régions candidates dans une image. Mathématiquement, l’un des éléments clés du succès de la fonction de similarité réside dans l’équivariance à la translation. Les architectures non équivariantes à la translation introduisent un biais positionnel pendant l’apprentissage, rendant ainsi difficile la récupération de la position de l’objet à partir de l’espace des caractéristiques. Dans les scénarios du monde réel, les objets subissent diverses transformations autres que la translation, telles que la rotation ou le changement d’échelle. À moins que le modèle ne dispose d’un mécanisme interne pour gérer ces transformations, la similarité peut dégrader. Dans ce travail, nous nous concentrons sur le changement d’échelle et visons à doter le réseau Siamese d’une équivariance à l’échelle intégrée afin de capturer a priori les variations naturelles de l’objet. Nous développons une théorie pour les traqueurs Siamese équivalents à l’échelle, et proposons une recette simple permettant de rendre une large variété de traqueurs existants équivalents à l’échelle. Nous présentons SE-SiamFC, une variante équivalente à l’échelle de SiamFC construite selon cette recette. Nous menons des expériences sur les benchmarks OTB et VOT, ainsi que sur les jeux de données synthétiques T-MNIST et S-MNIST. Nous démontrons qu’une équivariance à l’échelle intégrée est bénéfique pour le suivi d’objets visuels.