Kreuzmodale lokale kürzeste Pfade und globale Verbesserung für die sichtbare-thermische Person-Re-Identifizierung

Neben der Berücksichtigung der Erkennungsschwierigkeiten, die durch menschliche Haltungen und Verdeckungen verursacht werden, ist es auch notwendig, die Modalitätsunterschiede zu lösen, die durch verschiedene Bildgebungssysteme im sichtbaren-thermischen Cross-Modal Person Re-Identification (VT-ReID)-Aufgabe entstehen. In dieser Arbeit schlagen wir die Cross-Modal Local Shortest Path and Global Enhancement (CM-LSP-GE)-Module vor, ein zweistrom-basiertes Netzwerk zur gemeinsamen Lernung von lokalen und globalen Merkmalen. Das Kernkonzept unserer Arbeit besteht darin, das Problem der Verdeckung durch eine lokale Merkmalausrichtung zu lösen und den Modalitätsunterschied durch die Stärkung globaler Merkmale zu überwinden. Zunächst wird ein aufmerksamkeitsbasierter zweistromiger ResNet-Netzwerkentwurf entwickelt, um dualmodale Merkmale zu extrahieren und sie in einen einheitlichen Merkmalsraum abzubilden. Anschließend werden die Bilder horizontal in mehrere gleich große Teile geschnitten, um lokale Merkmale zu erhalten, und der kürzeste Pfad zwischen den lokalen Merkmalen zweier Graphen wird verwendet, um eine feingranulare lokale Merkmalausrichtung zu erreichen. Drittens wird ein Modul zur Batch-Normalisierungserhöhung angewendet, um globale Merkmale in eine Erhöhungstrategie einzubeziehen, was zu einer unterschiedlichen Erhöhung zwischen verschiedenen Klassen führt. Die Strategie zur Fusion von Mehrgrößenverlusten verbessert die Leistung des Algorithmus weiter. Schließlich wird ein Mechanismus zur gemeinsamen Lernung von lokalen und globalen Merkmalen verwendet, um die Genauigkeit der cross-modalen Person Re-Identification zu erhöhen. Die experimentellen Ergebnisse auf zwei typischen Datensätzen zeigen, dass unser Modell deutlich besser als die meisten aktuellen Methoden ist. Insbesondere können wir auf dem SYSU-MM01-Datensatz in allen Suchbegriffen von Rank-1 und mAP Verbesserungen von 2,89 % und 7,96 % erzielen. Der Quellcode wird bald veröffentlicht werden.