Distraktor-bewusste Siamese Netze für die visuelle Objektverfolgung

Kürzlich haben Siamese Netze in der visuellen Verfolgungsgemeinschaft aufgrund ihrer ausgewogenen Genauigkeit und Geschwindigkeit große Aufmerksamkeit gefunden. Allerdings können die Merkmale, die in den meisten Siamese-Verfolgungsansätzen verwendet werden, nur das Vordergrundobjekt von nicht-semantischen Hintergründen unterscheiden. Semantische Hintergründe werden stets als Störfaktoren betrachtet, was die Robustheit der Siamese-Verfolger beeinträchtigt. In dieser Arbeit konzentrieren wir uns auf das Lernen von Störfaktor-bewussten Siamese-Netzen für genaue und langfristige Verfolgung. Dazu wird zunächst eine Analyse der Merkmale durchgeführt, die in traditionellen Siamese-Verfolgern verwendet werden. Wir stellen fest, dass die ungleichmäßige Verteilung der Trainingsdaten die gelernten Merkmale weniger diskriminativ macht. Im Offline-Trainingsprozess wird eine effektive Abtaststrategie eingeführt, um diese Verteilung zu kontrollieren und das Modell auf semantische Störfaktoren zu fokussieren. Während der Inferenz wird ein neuartiges Modul zur Störerkenntnis entwickelt, das inkrementelles Lernen durchführt und so eine effektive Übertragung des allgemeinen Einbettungsraums in den aktuellen Videobereich ermöglicht. Darüber hinaus erweitern wir den vorgeschlagenen Ansatz für langfristige Verfolgungen durch Einführung einer einfachen aber effektiven Strategie für lokale bis globale Suchbereiche (local-to-global search region strategy). Ausführliche Experimente an Benchmarks zeigen, dass unser Ansatz erheblich besser als der aktuelle Stand der Technik ist: Er erreicht einen relativen Gewinn von 9,6 % im VOT2016-Datensatz und 35,9 % im UAV20L-Datensatz. Der vorgeschlagene Tracker kann bei kurzerfristigen Benchmarks mit 160 FPS und bei langfristigen Benchmarks mit 110 FPS arbeiten.