Apprentissage conjoint de caractéristiques et modélisation des relations pour le suivi : un cadre à flux unique

Le cadre de suivi à deux flux et deux étapes actuellement populaire extrait les caractéristiques du modèle et de la région de recherche séparément, puis effectue la modélisation des relations. Par conséquent, les caractéristiques extraites manquent de conscience cible et ont une capacité limitée à discriminer entre la cible et l'arrière-plan. Pour résoudre ce problème, nous proposons un nouveau cadre de suivi à flux unique (OSTrack) qui unifie l'apprentissage des caractéristiques et la modélisation des relations en reliant les paires d'images modèle-recherche avec des flux d'information bidirectionnels. De cette manière, des caractéristiques orientées cible et discriminantes peuvent être extraites dynamiquement par une guidance mutuelle. Comme aucun module supplémentaire de modélisation des relations lourd n'est nécessaire et que l'implémentation est hautement parallélisée, le traceur proposé fonctionne à une vitesse rapide. Pour améliorer encore davantage l'efficacité de l'inférence, un module d'élimination précoce des candidats dans le réseau est proposé, basé sur une forte similarité a priori calculée dans le cadre à flux unique. En tant que cadre unifié, OSTrack atteint des performances de pointe sur plusieurs benchmarks, en particulier il obtient des résultats impressionnants sur le benchmark de suivi mono-shot GOT-10k, soit 73,7 % AO, améliorant le meilleur résultat existant (SwinTrack) de 4,3 %. De plus, notre méthode maintient un bon compromis entre performance et vitesse et montre une convergence plus rapide. Le code source et les modèles sont disponibles sur https://github.com/botaoye/OSTrack.