Apprentissage de la prédiction de modèle discriminatif pour le suivi

La quête actuelle de systèmes de vision par ordinateur entièrement entraînables pose des défis majeurs pour la tâche de suivi visuel. Contrairement à la plupart des autres problèmes de vision, le suivi nécessite l'apprentissage en ligne d'un modèle d'apparence robuste spécifique à la cible, lors de l'étape d'inférence. Pour être entièrement entraînable, l'apprentissage en ligne du modèle cible doit donc être intégré dans l'architecture de suivi elle-même. En raison des défis imposés, le paradigme Siamese populaire se contente de prédire un gabarit de caractéristiques cible, tout en ignorant les informations d'apparence du fond pendant l'inférence. Par conséquent, le modèle prédit présente une capacité limitée à discriminer entre la cible et le fond.Nous développons une architecture de suivi entièrement entraînable, capable d'exploiter pleinement à la fois les informations d'apparence de la cible et du fond pour prédire le modèle cible. Notre architecture est dérivée d'une perte d'apprentissage discriminatif en concevant un processus d'optimisation dédié qui est capable de prédire un modèle puissant en seulement quelques itérations. De plus, notre approche est capable d'apprendre les aspects clés de la perte discriminative elle-même. Le traceur proposé établit un nouveau niveau de référence sur six benchmarks de suivi, atteignant un score EAO (Expected Average Overlap) de 0.440 sur VOT2018 (Visual Object Tracking Challenge 2018), tout en fonctionnant à plus de 40 images par seconde (FPS). Le code source et les modèles sont disponibles sur https://github.com/visionml/pytracking.