Personen-Wiedererkennung bei Kleiderwechsel aus einem einzelnen Bild mit Gangschrittvorhersage und Regularisierung

Cloth-Changing Person Re-Identification (CC-ReID) zielt darauf ab, dieselbe Person an verschiedenen Orten über einen längeren Zeitraum, z. B. über mehrere Tage, zu identifizieren und stößt daher unvermeidlich auf die Herausforderung der sich ändernden Kleidung. In dieser Arbeit konzentrieren wir uns auf die effektive Bewältigung des CC-ReID-Problems unter einer noch schwierigeren Bedingung, nämlich allein aus einem einzelnen Bild. Dies ermöglicht eine hoch-efficiente und latenzfreie Identifikation von Fußgängern für Echtzeitüberwachungsanwendungen. Insbesondere führen wir die Gangarterkennung als Nebenaufgabe ein, um das Bild-ReID-Modell durch die Nutzung persönlicher, kleiderunabhängiger Ganginformationen dazu anzuregen, kleiderunabhängige Darstellungen zu lernen. Wir bezeichnen diesen Ansatz als GI-ReID (Gait Information for Re-Identification). GI-ReID verwendet eine zweistromige Architektur, die aus einem Bild-ReID-Strom und einem Hilfsstrom zur Gangarterkennung (Gait-Stream) besteht. Der Gait-Stream, der während der Inferenz wegen hoher Recheneffizienz weggelassen wird, dient als Regulator und ermutigt den ReID-Strom während des Trainings, kleiderinvariante biometrische Bewegungsmerkmale zu erfassen. Um zeitkontinuierliche Bewegungshinweise aus einem einzelnen Bild zu gewinnen, entwerfen wir ein Modul zur Vorhersage von Gangabfolgen (Gait Sequence Prediction – GSP) für den Gait-Stream, um die Ganginformationen zu bereichern. Schließlich wird eine hochwertige semantische Konsistenz zwischen den beiden Strömen erzwungen, um eine effektive Wissensregulierung sicherzustellen. Experimente mit mehreren bildbasierten Benchmarks für Cloth-Changing ReID wie LTCC, PRCC, Real28 und VC-Clothes zeigen, dass GI-ReID gegenüber den aktuellen Stand der Technik vorteilhaft performt. Die Codes sind unter https://github.com/jinx-USTC/GI-ReID verfügbar.