Suivi RGBT par un réseau multi-adaptateur avec perte de divergence hiérarchique

Le suivi RGBT (Tracking RGBT) a suscité une attention croissante depuis que les données RGB et infrarouge thermique présentent des avantages complémentaires forts, permettant aux traceurs de fonctionner 24 heures sur 24 et en toutes conditions météorologiques. Cependant, la manière d'représenter efficacement les données RGBT pour le suivi visuel n'a pas encore été suffisamment étudiée. Les travaux existants se concentrent généralement sur l'extraction d'informations partagées entre les modalités ou spécifiques à chaque modalité, mais le potentiel de ces deux indices n'est pas bien exploité dans le suivi RGBT.Dans cet article, nous proposons un nouveau réseau multi-adaptateur pour effectuer conjointement l'apprentissage de représentations cibles partagées entre les modalités, spécifiques à chaque modalité et sensibles aux instances pour le suivi RGBT. À cette fin, nous concevons trois types d'adaptateurs au sein d'un cadre d'apprentissage profond bout-en-bout. Plus précisément, nous utilisons une version modifiée du VGG-M comme adaptateur général pour extraire les représentations cibles partagées entre les modalités.Pour extraire les caractéristiques spécifiques à chaque modalité tout en réduisant la complexité computationnelle, nous avons conçu un adaptateur de modalité qui ajoute un petit bloc à l'adaptateur général dans chaque couche et pour chaque modalité de manière parallèle. Cette conception permet d'apprendre des représentations spécifiques à plusieurs niveaux avec un nombre modeste de paramètres, car la majorité des paramètres sont partagés avec l'adaptateur général.Nous avons également conçu un adaptateur d'instance pour capturer les propriétés d'apparence et les variations temporelles d'une cible spécifique. De plus, afin de renforcer les caractéristiques partagées et spécifiques, nous utilisons la perte de divergence maximale moyenne à noyaux multiples (Multiple Kernel Maximum Mean Discrepancy) pour mesurer la divergence des distributions des caractéristiques de différentes modalités et l'intégrer dans chaque couche pour une apprentissage de représentation plus robuste.Des expériences approfondies sur deux jeux de données de référence pour le suivi RGBT démontrent les performances exceptionnelles du traceur proposé par rapport aux méthodes de pointe actuelles.