Lernen von 3D-Shape-Features für texturunabhängige Person-Identifikation

Es ist allgemein anerkannt, dass die Person-Identifikation (Person ReID) stark von visuellen Texturinformationen wie Kleidung abhängt. Trotz erheblicher Fortschritte in den letzten Jahren erhalten texturverwirrende Situationen, wie z. B. Kleidungswechsel oder Personen, die dieselbe Kleidung tragen, von den meisten bestehenden ReID-Methoden wenig Aufmerksamkeit. In diesem Paper schlagen wir statt auf texturbasierte Informationen zu verlassen, einen Ansatz vor, um die Robustheit der Person-ReID gegenüber Kleidungstexturen durch Ausnutzung der 3D-Körperform einer Person zu verbessern. Bisherige Ansätze zur Formlernung für Person ReID ignorieren entweder die 3D-Information einer Person oder erfordern zusätzliche physische Geräte zur Erfassung von 3D-Quelldaten. Im Gegensatz dazu präsentieren wir einen neuartigen ReID-Lernframework, der direkt aus einem 2D-Bild eine texturunabhängige 3D-Form-Embedding extrahiert, indem die 3D-Körperrekonstruktion als Hilfsaufgabe und Regularisierung eingeführt wird – dies bezeichnen wir als 3D Shape Learning (3DSL). Die durch 3D-Rekonstruktion gestützte Regularisierung zwingt das ReID-Modell, die 3D-Forminformation von der visuellen Textur zu entkoppeln und diskriminative 3D-Form-ReID-Features zu erlernen. Um das Problem des Fehlens von 3D-Referenzdaten zu lösen, entwickeln wir ein adversarisch selbstüberwachtes Projektionsmodell (ASSP), das die 3D-Rekonstruktion ohne Referenzdaten durchführt. Umfangreiche Experimente auf gängigen ReID-Datensätzen sowie auf Datensätzen mit texturverwirrenden Szenarien bestätigen die Wirksamkeit unseres Ansatzes.