Identitätsgeleitete menschliche Semantikparsung für die Person-Identifikation

Bekannte, auf Alignment basierende Methoden müssen vortrainierte menschliche Parsing-Modelle einsetzen, um eine pixelgenaue Ausrichtung zu erreichen, und können persönliche Gegenstände (z. B. Rucksäcke und Handtaschen) nicht identifizieren, die für die Person-Recognition-by-Image-Description (re-ID) von entscheidender Bedeutung sind. In diesem Artikel stellen wir einen identitätsgeleiteten Ansatz für menschliche semantische Parsing (Identity-guided Human Semantic Parsing, ISP) vor, der sowohl menschliche Körperteile als auch persönliche Gegenstände auf pixelgenauer Ebene lokalisiert, um eine ausgerichtete Person-re-ID nur anhand von Person-Identitätslabels durchzuführen. Wir entwerfen eine kaskadierte Clustering-Methode auf Merkmalskarten, um Pseudolabels für menschliche Körperteile zu generieren. Konkret gruppieren wir zunächst die Pixel aller Bilder einer Person in Vordergrund- und Hintergrundpixel und gruppieren anschließend die Vordergrundpixel in einzelne Körperteile. Die resultierenden Clustering-Zuordnungen dienen dann als Pseudolabels für die Körperteile, um die Schätzung der Körperteile zu überwachen. ISP lernt iterativ sowohl die Merkmalskarten als auch die Gruppierungen. Schließlich werden lokale Merkmale sowohl für menschliche Körperteile als auch persönliche Gegenstände basierend auf den selbstgelernten Körperteil-Schätzungen ermittelt, wobei lediglich Merkmale sichtbarer Teile für die Recherche verwendet werden. Umfangreiche Experimente an drei weit verbreiteten Datensätzen bestätigen die Überlegenheit von ISP gegenüber zahlreichen state-of-the-art-Methoden. Unser Quellcode ist unter https://github.com/CASIA-IVA-Lab/ISP-reID verfügbar.