Lernen eines dynamischen Siameses-Netzwerks für die visuelle Objektverfolgung

Die effektive Erfassung der zeitlichen Veränderungen des Zielobjekts, gleichzeitig die Störung durch eine unübersichtliche Hintergrundumgebung zu unterdrücken und gleichzeitig eine Echtzeitreaktion zu gewährleisten, stellt eine zentrale Herausforderung im Bereich des visuellen Objektverfolgens dar. In jüngster Zeit haben Siamese-Netzwerke großes Potenzial bei der Entwicklung von basierend auf Matching arbeitenden Verfolgern gezeigt, die ein ausgeglichenes Verhältnis zwischen Genauigkeit und Geschwindigkeit jenseits der Echtzeit erreichen können. Dennoch besteht weiterhin eine erhebliche Lücke gegenüber Klassifikations- und Aktualisierungs-basierten Verfolgern hinsichtlich der Fähigkeit, zeitliche Veränderungen des Objekts sowie unterschiedliche Aufnahmeeigenschaften zu tolerieren. In diesem Artikel stellen wir ein dynamisches Siamese-Netzwerk vor, das durch ein schnelles Transformationslernmodell ermöglicht, die Veränderung der Zielobjekterscheinung effektiv online zu lernen und die Hintergrundstörung aus vorherigen Bildern zu unterdrücken. Anschließend präsentieren wir eine elementweise mehrschichtige Fusion, um die Netzwerkausgaben adaptiv unter Verwendung mehrschichtiger tiefer Merkmale zu integrieren. Im Gegensatz zu aktuellen Spitzenverfolgern ermöglicht unser Ansatz die Verwendung beliebiger geeigneter allgemein- oder speziell trainierter Merkmale, wie beispielsweise SiamFC oder VGG. Vor allem ist es bemerkenswert, dass das vorgeschlagene dynamische Siamese-Netzwerk direkt auf beschrifteten Videosequenzen gemeinsam als Ganzes trainiert werden kann, wodurch die reiche räumlich-zeitliche Information bewegter Objekte optimal genutzt werden kann. Dadurch erreicht unser Ansatz Spitzenleistung auf den Benchmarks OTB-2013 und VOT-2015 und zeigt gegenüber den besten Konkurrenten eine überlegene Balance zwischen Genauigkeit und Echtzeitfähigkeit.