Dynamisches Fusionsnetzwerk für RGBT-Verfolgung

Da sowohl sichtbare als auch infrarote Bilder ihre eigenen Vor- und Nachteile haben, hat sich die RGBT-Verfolgung (RGB-Infrarot-Tracking) zunehmend im Fokus der Forschung befunden. Die wesentlichen Aspekte der RGBT-Verfolgung liegen in der Merkmalsextraktion und -fusion von sichtbaren und infraroten Bildern. Aktuelle RGBT-Verfolgungsverfahren konzentrieren sich hauptsächlich auf individuelle Merkmale (aus Bildern einer einzelnen Kamera extrahierte Merkmale) und gemeinsame Merkmale (aus einem RGB-Kamera- und einem Thermokamera-Bild extrahierte und gefusionierte Merkmale). Sie achten jedoch weniger auf die unterschiedlichen und dynamischen Beiträge der individuellen und gemeinsamen Merkmale für verschiedene Sequenzen registrierter Bildduos. In dieser Arbeit wird eine neue RGBT-Verfolgungsmethode vorgeschlagen, das sogenannte Dynamische Fusionsnetzwerk (DFNet), das eine zweistromige Struktur verwendet. In jeder Schicht werden zwei nicht geteilte Faltungskerne angewendet, um individuelle Merkmale zu extrahieren. Darüber hinaus verfügt DFNet über geteilte Faltungskerne in jeder Schicht, um gemeinsame Merkmale zu extrahieren. Nicht geteilte und geteilte Faltungskerne werden je nach verschiedenen Bildduos adaptiv gewichtet und summiert, sodass DFNet mit den unterschiedlichen Beiträgen für verschiedene Sequenzen umgehen kann. DFNet zeichnet sich durch eine hohe Geschwindigkeit aus, die bei 28,658 FPS liegt. Die experimentellen Ergebnisse zeigen, dass DFNet bei einer Erhöhung der Multiplikationen-Additionen (Mult-Adds) um nur 0,02% im Vergleich zur Methode ohne geteilte Faltungskerne die Präzisionsrate (PR) und Erfolgsrate (SR) von 88,1% beziehungsweise 71,9% erreicht.