Inhalt und relevante Semantik zur Zusammenarbeit bei der Wiedererkennung von Personen nach Kleiderwechsel

Die Personenerkennung bei Kleiderwechsel (Cloth-changing person re-identification) zielt darauf ab, dieselbe Person mit unterschiedlichen Kleidern in nicht überlappenden Kameras zu erkennen. Fortgeschrittene Methoden greifen entweder auf identitätsbezogene Nebenmodalitäten (z.B. Skizzen, Silhouetten und Keypoints) oder Kleiderlabels zurück, um den Einfluss der Kleidung zu mindern. Allerdings begrenzt die Abhängigkeit von unpraktischen und unflexiblen Nebenmodalitäten oder Annotationen ihre Anwendbarkeit in der Praxis. In dieser Arbeit fördern wir die Personenerkennung bei Kleiderwechsel durch die Nutzung der reichhaltigen Semantik innerhalb von Fußgängerbildern, ohne auf irgendeine Art von Nebenmodalitäten angewiesen zu sein. Insbesondere schlagen wir zunächst ein vereintes Modul zur Semantikextraktion und -verfeinerung (Semantics Mining and Refinement, SMR) vor, das robuste identitätsbezogene Inhalte und auffällige Semantiken extrahiert und effektiv Störungen durch Kleidererscheinungen reduziert. Wir gehen noch einen Schritt weiter und stellen den Rahmen für eine Zusammenarbeit und Nutzung verschiedener Semantiken (Content and Salient Semantics Collaboration, CSSC) vor, der die parallele semantische Interaktion und Verfeinerung unterstützt. Unsere vorgeschlagene Methode erzielt den aktuellen Stand der Technik auf drei Benchmarks für Personenerkennung bei Kleiderwechsel und zeigt damit ihre Überlegenheit gegenüber fortgeschrittenen Konkurrenten. Der Quellcode ist unter https://github.com/QizaoWang/CSSC-CCReID verfügbar.