GEFF: Verbesserung eines beliebigen Kleidungswandel-Person ReID-Modells durch Galerievervollständigung mit Gesichtsmerkmalen

Bei dem Problem der Kleidungswechsel-Identifikation (Clothes-Changing Re-Identification, CC-ReID) soll anhand einer Abfrageprobe einer Person deren korrekte Identität anhand einer beschrifteten Galerie ermittelt werden, in der die Person in unterschiedlicher Kleidung erscheint. Mehrere Modelle adressieren diese Herausforderung, indem sie kleidungsunabhängige Merkmale extrahieren. Dennoch erreichen diese Modelle im Szenario mit Kleidungswechsel eine geringere Leistung im Vergleich zum Szenario mit gleichbleibender Kleidung, in dem die Person in der beschrifteten Galerie stets in derselben Kleidung auftritt. Da kleidungsbezogene Merkmale in den Daten oft dominierende Merkmale darstellen, schlagen wir einen neuen Ansatz vor, den wir „Galeriesammlung“ (Gallery Enrichment) nennen. Bei diesem Prozess bereichern wir die ursprüngliche Galerie, indem wir auf Basis der Gesichtsmerkmale Abfrageproben hinzufügen, wobei ein unsupervisionierter Algorithmus eingesetzt wird. Zudem zeigen wir, dass die Kombination von ReID- und Gesichtsmerkmalsextraktionsmodulen zusammen mit einer vergrößerten Galerie ein genaueres ReID-Modell ergibt – selbst für Abfrageproben mit neuen Outfits, die keine Gesichter enthalten. Darüber hinaus argumentieren wir, dass bestehende CC-ReID-Benchmarks die realen Einsatzbedingungen nicht vollständig widerspiegeln, und stellen einen neuen Video-CC-ReID-Datensatz namens 42Street vor, der auf einer Theateraufführung basiert und sowohl über vollbesetzte Szenen als auch zahlreiche Kleidungswechsel verfügt. Angewendet auf mehrere ReID-Modelle erzielt unsere Methode (GEFF) im Durchschnitt eine Verbesserung von 33,5 % und 6,7 % im Top-1-Metrik für Kleidungswechsel auf den Benchmarks PRCC und LTCC. In Kombination mit den neuesten ReID-Modellen erreicht unsere Methode neue SOTA-Ergebnisse auf den Benchmarks PRCC, LTCC, CCVID, LaST und VC-Clothes sowie auf dem vorgeschlagenen 42Street-Datensatz.