Human Co-Parsing Guided Alignment for Occluded Person Re-identification

Die Re-Identifikation occludierter Personen (Occluded Person Re-Identification, ReID) stellt eine herausfordernde Aufgabe dar, da sie durch erhöhte Hintergrundstörungen und unvollständige Vordergrundinformationen gekennzeichnet ist. Obwohl bestehende ReID-Methoden, die auf menschlicher Parsing basieren, dieses Problem durch semantische Ausrichtung auf der feinsten Pixel-Ebene angehen können, ist ihre Leistung stark von der Qualität des menschlichen Parsing-Modells abhängig. Die meisten überwachten Ansätze trainieren ein zusätzliches menschliches Parsing-Modell neben dem ReID-Modell unter Verwendung von cross-domain-Annotationen menschlicher Körperteile, was mit hohen Annotierungskosten und einem Domänenabstand verbunden ist; unüberwachte Methoden integrieren einen auf Merkmalsclustering basierenden Parsing-Prozess direkt in das ReID-Modell, leiden jedoch aufgrund fehlender Überwachungssignale an weniger zufriedenstellenden Segmentierungsergebnissen. In diesem Artikel argumentieren wir, dass die bereits im ReID-Trainingsdatensatz enthaltenen Informationen direkt als Überwachungssignale genutzt werden können, um das menschliche Parsing-Modell ohne zusätzliche Annotationen zu trainieren. Durch die Integration eines schwach überwachten menschlichen Co-Parsing-Netzwerks in das ReID-Netzwerk stellen wir einen neuartigen Rahmen vor, der gemeinsame Informationen zwischen verschiedenen Bildern derselben Person nutzt und als Human Co-parsing Guided Alignment (HCGA) bezeichnet wird. Konkret wird das menschliche Co-Parsing-Netzwerk durch drei Konsistenzkriterien schwach überwacht: globale Semantik, lokale räumliche Struktur und Hintergrund. Durch die Eingabe semantischer Informationen und tiefer Merkmale aus dem Person-ReID-Netzwerk in das geführte Ausrichtungsmodul können anschließend Merkmale des Vordergrunds und menschlicher Körperteile effektiv extrahiert werden, um die ReID occludierter Personen zu verbessern. Experimentelle Ergebnisse auf zwei occludierten und zwei integrierten Datensätzen belegen die Überlegenheit unseres Ansatzes. Insbesondere erzielt er auf dem Occluded-DukeMTMC-Datensatz eine Rank-1-Genauigkeit von 70,2 % und eine mAP von 57,5 %.