Co-Attention ausgerichtete wechselseitige Cross-Attention für die Kleidungswechsel-Personen-Wiedererkennung

Die Person-Identifikation (Re-ID) wurde umfassend untersucht und hat erhebliche Fortschritte erzielt. Traditionelle Ansätze zur Person-Re-ID basieren jedoch hauptsächlich auf farblichen Erscheinungseigenschaften der Kleidung, was in realen Szenarien unzuverlässig ist, wenn Personen ihre Kleidung wechseln. Die Forschung zu der Herausforderung des Kleidungswechsels bei der Person-Re-ID gewinnt zunehmend an Aufmerksamkeit, ist jedoch schwieriger, da sich bei Veränderungen der Kleidung eine größere intra-klassige Variabilität und eine geringere inter-klassige Distanz im Bildmerkmalsraum ergeben, was die Lernbarkeit diskriminativer Identitätsmerkmale erschwert. Neben optischen Merkmalen können in Bildern auch bekannte identitätsrelevante Informationen implizit kodiert sein (z. B. Körperproportionen). In dieser Arbeit führen wir zunächst ein neuartiges Shape Semantics Embedding (SSE)-Modul ein, das semantische Informationen über die Körperform kodiert, welche eine wesentliche Informationsquelle zur Unterscheidung von Fußgängern darstellt, wenn deren Kleidung wechselt. Um die Bildmerkmale besser zu ergänzen, schlagen wir zudem einen Co-Attention Aligned Mutual Cross-attention (CAMC)-Rahmen vor. Im Gegensatz zu bisherigen auf Aufmerksamkeit basierenden Fusionsstrategien aligniert dieser Ansatz zunächst Merkmale aus mehreren Modalitäten und ermöglicht dann eine effektive Interaktion und Übertragung von identitätsrelevanten, aber kleidungsunabhängigen Kenntnissen zwischen dem Bildraum und dem Körperformraum, was zu einer robusteren Merkmalsrepräsentation führt. Sofern wir informiert sind, ist dies die erste Arbeit, die den Transformer zur Behandlung der multimodalen Interaktion bei der Person-Re-ID unter Kleidungswechsel einsetzt. Umfangreiche Experimente belegen die Wirksamkeit unseres Ansatzes und zeigen überlegene Ergebnisse auf mehreren Benchmarks für Person-Re-ID unter Kleidungswechsel. Der Quellcode wird unter url{https://github.com/QizaoWang/CAMC-CCReID} zur Verfügung gestellt.