Parameter-Sharing-Exploration und Hetero-Center-basierter Triplet-Loss für sichtbare-thermische Person-Re-Identifikation

Dieses Papier konzentriert sich auf die Aufgabe der sichtbaren-thermischen Cross-Modality Person Re-Identifikation (VT Re-ID), deren Ziel es ist, Personenbilder zwischen dem Tageslicht-Sichtbarkeitsmodus und dem Nachts-Thermographiemodus zu verbinden. Um das größte Herausforderungsfeld für VT Re-ID, nämlich die Cross-Modality Diskrepanz, anzugehen, wird in der Regel ein Zwei-Stream-Netzwerk verwendet, um mehrmodale Personmerkmale zu lernen. In dieser Arbeit untersuchen wir, wie viele Parameter des Zwei-Stream-Netzwerks geteilt werden sollten, was bisher in der existierenden Literatur noch nicht ausreichend erforscht wurde.Durch eine sorgfältige Aufteilung des ResNet50-Modells zur Konstruktion eines modusspezifischen Merkmalsextraktionsnetzwerks und eines modusgeteilten Merkmalsembeddingnetzwerks zeigen wir experimentell den Einfluss des Parametersharing im Zwei-Stream-Netzwerk für VT Re-ID. Darüber hinaus schlagen wir im Rahmen des partbasierten Lernens von Personmerkmalen einen heterozentrischen Triplettenverlust vor, um die strenge Einschränkung des traditionellen Triplettenverlusts durch den Ersatz des Vergleichs des Ankers mit allen anderen Proben durch den Vergleich des Ankerzentrums mit allen anderen Zentren zu lockern. Mit äußerst einfachen Mitteln kann die vorgeschlagene Methode die Leistungsfähigkeit von VT Re-ID erheblich verbessern.Die experimentellen Ergebnisse auf zwei Datensätzen zeigen, dass unsere vorgeschlagene Methode deutlich besser als die bislang besten Methoden abschneidet, insbesondere auf dem RegDB-Datensatz überlegene Leistungen erzielt: Rang1/mAP/mINP 91,05%/83,28%/68,84%. Sie kann als neue Baseline für VT Re-ID dienen, da sie eine einfache aber effektive Strategie anbietet.