Raum- und zeit-effizientes nicht-lokales Aufmerksamkeitsnetzwerk für die videobasierte Wiedererkennung von Personen

Die video-basierte Personen-Wiedererkennung (Re-ID) zielt darauf ab, Videosequenzen von Fußgängern über nicht überlappende Kameras zu vergleichen. Es handelt sich dabei um eine praktische, jedoch herausfordernde Aufgabe, wie räumliche und zeitliche Informationen eines Videos in dessen Merkmalsrepräsentation eingebettet werden können. Während die meisten existierenden Methoden die Videocharakteristika durch Aggregation von bildbasierten Merkmalen und Entwurf von Aufmerksamkeitsmechanismen in neuronalen Netzen lernen, erforschen sie nur die Korrelation zwischen den Bildern auf der Ebene hochwertiger Merkmale. In dieser Arbeit richten wir uns darauf, sowohl die Zwischenmerkmale als auch die hochwertigen Merkmale mit nicht-lokalen Aufmerksamkeitsoperationen zu verfeinern und zwei Beiträge zu leisten: (i) Wir schlagen ein Nicht-lokales Video-Aufmerksamkeitsnetzwerk (Non-local Video Attention Network, NVAN) vor, um Videocharakteristika auf mehreren Merkmalsebenen in die Repräsentation einzubeziehen. (ii) Wir führen zudem ein räumlich und zeitlich effizientes Nicht-lokales Video-Aufmerksamkeitsnetzwerk (Spatially and Temporally Efficient Non-local Video Attention Network, STE-NVAN) ein, das durch die Ausnutzung von räumlicher und zeitlicher Redundanz in Fußgänger-Videos die Berechnungskomplexität reduziert. Umfangreiche Experimente zeigen, dass unser NVAN im Rang-1-Genauigkeitsvergleich auf dem MARS-Datensatz um 3,8 % besser abschneidet als der aktuelle Stand der Technik und bestätigen, dass unser STE-NVAN einen deutlich geringeren Rechenaufwand im Vergleich zu bestehenden Methoden aufweist.