Apprentissage de la fusion de cartes de caractéristiques asymétriques dans les traqueurs de type Siamese

Récemment, les traqueurs fondés sur Siamese ont atteint des performances prometteuses dans le suivi visuel. La plupart des traqueurs récents basés sur Siamese utilisent typiquement une corrélation croisée à convolution creuse (DW-XCorr) afin d’extraire des informations de corrélation multi-canaux à partir de deux cartes de caractéristiques (cible et région de recherche). Toutefois, la DW-XCorr présente plusieurs limites dans le cadre du suivi basé sur Siamese : elle est facilement trompée par des distracteurs, présente un nombre réduit de canaux activés, et offre une faible discrimination des contours de l’objet. En outre, la DW-XCorr est un module à paramètres fixes conçu manuellement, ne pouvant donc pas tirer pleinement parti de l’apprentissage non supervisé sur de grandes quantités de données. Nous proposons un module apprenable, nommé convolution asymétrique (ACM), qui apprend à mieux capturer les informations de corrélation sémantique durant un apprentissage hors ligne sur de grandes bases de données. Contrairement à la DW-XCorr et à son prédécesseur (XCorr), qui considèrent une seule carte de caractéristiques comme noyau de convolution, notre ACM décompose l’opération de convolution appliquée à une carte de caractéristiques concaténées en deux opérations mathématiquement équivalentes, évitant ainsi la contrainte de taille identique (largeur et hauteur) des cartes lors de la concaténation. Notre ACM peut intégrer des informations a priori utiles, telles que la taille de la boîte englobante, aux caractéristiques visuelles standards. De plus, l’ACM peut être facilement intégré aux traqueurs Siamese existants reposant sur la DW-XCorr ou la XCorr. Pour démontrer sa capacité de généralisation, nous avons intégré l’ACM à trois traqueurs représentatifs : SiamFC, SiamRPN++ et SiamBAN. Nos expérimentations révèlent les avantages du module ACM proposé, qui surpassent les méthodes existantes sur six benchmarks de suivi. Sur le jeu de test LaSOT, le traqueur basé sur notre ACM obtient une amélioration significative de 5,8 % en termes de succès (AUC) par rapport à la version de base.