Feinabgestimmtes Shape-Appearance-Wechselwirkungslernen für die Kleidungswechsel-Person-Re-Identifikation
{Wei-Shi Zheng Xintong Han AnCong Wu Tao Wu Peixian Hong}

Abstract
In jüngster Zeit hat die Person-Identifikation (Re-ID) erhebliche Fortschritte erzielt. Allerdings beruhen aktuelle Methoden weitgehend auf der Farb- und Erscheinungsbildanalyse, was bei Veränderungen der Kleidung nicht zuverlässig ist. Die Re-ID bei Kleiderwechsel stellt eine besondere Herausforderung dar, da Fußgängerbilder mit veränderten Kleidungsstücken eine große intra-klassische Variabilität und geringe inter-klassische Variabilität aufweisen. Wichtige Merkmale für die Identifikation sind in subtilen Unterschieden der Körpergestalt zwischen Personen versteckt. Um solche Körpergestaltmerkmale für die Re-ID bei Kleiderwechsel zu erschließen, schlagen wir einen Feinabstimmungsfähigen Shape-Appearance-Wechselseitigen Lernrahmen (FSAM) vor – ein zweistromiger Ansatz, der feinabgestimmte, diskriminative Körpergestaltwissen in einem Shape-Stream erlernt und dieses in einen Appearance-Stream überträgt, um das kleidungsunabhängige Wissen in den Erscheinungsbildmerkmalen zu ergänzen. Genauer gesagt lernt FSAM im Shape-Stream durch Identitätsführung feinabgestimmte diskriminative Masken und extrahiert feinabgestimmte Körpergestaltmerkmale mittels eines pose-spezifischen mehrästigen Netzwerks. Um das kleidungsunabhängige Gestaltwissen im Appearance-Stream zu ergänzen, wird dichte, wechselseitige Lerninteraktion über niedrige und hohe Merkmalslevel durchgeführt, um Wissen vom Shape-Stream in den Appearance-Stream zu übertragen. Dadurch kann der Appearance-Stream unabhängig eingesetzt werden, ohne zusätzlichen Rechenaufwand für die Maskenschätzung. Wir haben unsere Methode an etablierten Benchmark-Datensätzen für Re-ID bei Kleiderwechsel evaluiert und erreichten dabei die bisher beste Leistung.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| person-re-identification-on-ltcc | FSAM | Rank-1: 38.5 mAP: 16.2 |
| person-re-identification-on-prcc | FSAM | Rank-1: 54.5 |
| person-re-identification-on-vc-clothes | FSAM | Rank-1: 78.6 mAP: 78.9 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.