Ein zweifaches Siameses Netzwerk für die Echtzeit-Objekterkennung

Indem wir beobachten, dass semantische Merkmale, die in einer Bildklassifizierungsaufgabe gelernt werden, und Erscheinungsmerkmale, die in einer Ähnlichkeitsabgleichsaufgabe gelernt werden, sich gegenseitig ergänzen, bauen wir ein zweigliedriges Siamesisches Netzwerk, genannt SA-Siam, für die Echtzeit-Objekterkennung. SA-Siam besteht aus einem semantischen Ast und einem Erscheinungsast. Jeder Ast ist ein Siamesisches Netzwerk zur Ähnlichkeitslernen. Eine wichtige Designentscheidung bei SA-Siam ist das getrennte Training der beiden Äste, um die Heterogenität der beiden Arten von Merkmalen zu bewahren. Darüber hinaus schlagen wir einen Kanal-Aufmerksamkeitsmechanismus für den semantischen Ast vor. Die kanalspezifischen Gewichte werden nach den Kanalaktivierungen in der Umgebung der Zielposition berechnet. Während die von SiamFC \cite{SiamFC} übernommene Architektur es unserem Tracker ermöglicht, über Echtzeit hinaus zu operieren, verbessert das zweigliedrige Design und der Aufmerksamkeitsmechanismus die Tracking-Leistung erheblich. Das vorgeschlagene SA-Siam übertrifft alle anderen Echtzeit-Tracker um einen großen Vorsprung auf den Benchmarks OTB-2013/50/100.