Réseau de fusion progressive basé sur les attributs pour le suivi RGBT

Le suivi RGBT souffre généralement de divers facteurs difficiles à gérer, tels que le mouvement rapide, les variations d’échelle, les variations d’éclairage, le croisement thermique et l’occlusion, entre autres. Les travaux existants cherchent souvent à résoudre simultanément tous ces défis à l’aide de modèles de fusion, ce qui impose des modèles de fusion complexes et des jeux de données d’entraînement volumineux, rendant leur mise en œuvre difficile dans des scénarios réels. Dans ce travail, nous décomposons le processus de fusion selon les attributs des défis, et proposons ainsi un nouveau réseau de fusion progressive basé sur les attributs (APFNet) capable d’augmenter la capacité de fusion tout en utilisant un nombre réduit de paramètres et en réduisant la dépendance vis-à-vis de grands jeux de données d’entraînement. Plus précisément, nous concevons cinq branches de fusion spécifiques à chaque attribut afin d’intégrer efficacement les caractéristiques RGB et thermiques dans les situations de croisement thermique, de variation d’éclairage, de variation d’échelle, d’occlusion et de mouvement rapide, respectivement. En décomposant le processus de fusion, nous pouvons utiliser un nombre réduit de paramètres par branche pour atteindre une fusion robuste entre modalités, tout en entraînant chaque branche sur un petit sous-ensemble d’entraînement annoté selon l’attribut correspondant. Ensuite, pour fusionner de manière adaptative les caractéristiques issues de toutes les branches, nous proposons un module d’agrégation basé sur SKNet. Enfin, nous introduisons également un transformateur de fusion amélioré pour renforcer les caractéristiques agrégées ainsi que les caractéristiques spécifiques à chaque modalité. Les résultats expérimentaux sur des jeux de données standard démontrent l’efficacité de notre APFNet par rapport aux méthodes de pointe actuelles.