Feinabgestimmtes Shape-Appearance-Wechselwirkungslernen für die Kleidungswechsel-Person-Re-Identifikation

In jüngster Zeit hat die Person-Identifikation (Re-ID) erhebliche Fortschritte erzielt. Allerdings beruhen aktuelle Methoden weitgehend auf der Farb- und Erscheinungsbildanalyse, was bei Veränderungen der Kleidung nicht zuverlässig ist. Die Re-ID bei Kleiderwechsel stellt eine besondere Herausforderung dar, da Fußgängerbilder mit veränderten Kleidungsstücken eine große intra-klassische Variabilität und geringe inter-klassische Variabilität aufweisen. Wichtige Merkmale für die Identifikation sind in subtilen Unterschieden der Körpergestalt zwischen Personen versteckt. Um solche Körpergestaltmerkmale für die Re-ID bei Kleiderwechsel zu erschließen, schlagen wir einen Feinabstimmungsfähigen Shape-Appearance-Wechselseitigen Lernrahmen (FSAM) vor – ein zweistromiger Ansatz, der feinabgestimmte, diskriminative Körpergestaltwissen in einem Shape-Stream erlernt und dieses in einen Appearance-Stream überträgt, um das kleidungsunabhängige Wissen in den Erscheinungsbildmerkmalen zu ergänzen. Genauer gesagt lernt FSAM im Shape-Stream durch Identitätsführung feinabgestimmte diskriminative Masken und extrahiert feinabgestimmte Körpergestaltmerkmale mittels eines pose-spezifischen mehrästigen Netzwerks. Um das kleidungsunabhängige Gestaltwissen im Appearance-Stream zu ergänzen, wird dichte, wechselseitige Lerninteraktion über niedrige und hohe Merkmalslevel durchgeführt, um Wissen vom Shape-Stream in den Appearance-Stream zu übertragen. Dadurch kann der Appearance-Stream unabhängig eingesetzt werden, ohne zusätzlichen Rechenaufwand für die Maskenschätzung. Wir haben unsere Methode an etablierten Benchmark-Datensätzen für Re-ID bei Kleiderwechsel evaluiert und erreichten dabei die bisher beste Leistung.