Video-basierte Person Re-Identifikation mit räumlichen und zeitlichen Gedächtnisnetzwerken

Video-basierte Personen-Identifikation (reID) zielt darauf ab, Personen-Videos mit derselben Identität wie eine Abfrageperson über mehrere Kameras hinweg zu finden. Rauminhaltliche und zeitliche Störungen in Personen-Videos – beispielsweise Hintergrundverwirrung und teilweise Verdeckungen über mehrere Frames hinweg – machen diese Aufgabe deutlich anspruchsvoller als die bildbasierte Personen-Identifikation. Wir beobachten, dass rauminhaltliche Störungen an bestimmten Orten konsistent auftreten, während zeitliche Störungen verschiedene Muster aufweisen, wie beispielsweise teilweise Verdeckungen, die in den ersten Frames auftreten. Diese Muster liefern informative Hinweise darauf, welche Frames besonders beachtet werden sollten (d. h. zeitliche Aufmerksamkeit). Ausgehend davon stellen wir ein neuartiges räumlich-zeitliches Gedächtnis-Netzwerk (Spatial and Temporal Memory Networks, STMN) vor. Das räumliche Gedächtnis speichert Merkmale für rauminhaltliche Störungen, die häufig über mehrere Video-Frames auftreten, während das zeitliche Gedächtnis Aufmerksamkeitsmuster speichert, die für typische zeitliche Muster in Personen-Videos optimiert wurden. Wir nutzen das räumliche und zeitliche Gedächtnis, um die framebasierten Personenrepräsentationen zu verfeinern und die verfeinerten framebasierten Merkmale jeweils zu einer sequenzbasierten Personenrepräsentation zu aggregieren, wodurch rauminhaltliche und zeitliche Störungen in Personen-Videos effektiv bewältigt werden können. Zudem führen wir eine Memory-Spread-Verlustfunktion ein, um zu verhindern, dass das Modell nur bestimmte Einträge im Gedächtnis berücksichtigt. Experimentelle Ergebnisse auf Standardbenchmarks, einschließlich MARS, DukeMTMC-VideoReID und LS-VID, belegen die Wirksamkeit unseres Ansatzes.