Zeitliche Wissensverbreitung für die Bild-zu-Video-Personen-Wiedererkennung

In vielen Szenarien der Personen-Wiedererkennung (Re-ID) besteht das Galerie-Datensatz aus zahlreichen Überwachungsvideos, während die Abfrage lediglich ein Bild ist. Daher muss die Wiedererkennung zwischen Bildern und Videos durchgeführt werden. Im Vergleich zu Videos fehlen stille Personenbilder zeitliche Informationen. Darüber hinaus erhöht die Informationsasymmetrie zwischen Bild- und Videokennzeichen die Schwierigkeit des Matchings von Bildern und Videos. Um dieses Problem zu lösen, schlagen wir eine neuartige Methode zur zeitlichen Wissensverbreitung (Temporal Knowledge Propagation, TKP) vor, die das zeitliche Wissen, das vom Videodarstellungsnetzwerk gelernt wurde, auf das Bilddarstellungsnetzwerk überträgt. Speziell fordern wir bei den Eingabe-Videos das Bilddarstellungsnetzwerk dazu auf, die Ausgaben des Videodarstellungsnetzwerks in einem gemeinsamen Merkmalsraum anzunähern. Durch Rückpropagation kann zeitliches Wissen übertragen werden, um die Bildmerkmale zu verbessern und das Problem der Informationsasymmetrie zu mildern. Mit zusätzlichen Klassifikations- und integrierten Triplettenverlustfunktionen kann unser Modell ausdrucksstarke und diskriminative Bild- und Videomerkmale für die Wiedererkennung von Bildern zu Videos lernen. Ausführliche Experimente zeigen die Effektivität unserer Methode, und die Gesamtergebnisse auf zwei weit verbreiteten Datensätzen übertreffen die Standesder-Kunst-Methoden deutlich. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/guxinqian/TKP