Dual Cluster Contrastive Learning für Object Re-Identification

Kürzlich wurde gezeigt, dass clusterbasierte kontrastive Lernverfahren für die Objekt-ReID effektiv sind, indem die kontrastive Verlustfunktion zwischen den individuellen Merkmalen und dem Clustermemory berechnet wird. Allerdings führen bestehende Methoden, die die individuellen Merkmale zur momentumbasierten Aktualisierung des Clustermemory nutzen, zu Schwankungen über die Trainingsbeispiele hinweg, insbesondere bei Ausreißerproben. Im Gegensatz zu der auf Individuen basierenden Aktualisierungsmechanik ermöglicht die auf Zentroiden basierende Aktualisierungsmechanik, die Auswirkung einzelner Proben zu reduzieren, indem sie das Mittelmerkmal jedes Clusters zur Aktualisierung des entsprechenden Clustermemory nutzt. Daher formulieren wir sowohl die individuenbasierte als auch die zentroidenbasierte Aktualisierungsmechanik innerhalb eines einheitlichen clusterbasierten kontrastiven Rahmens, den wir Dual Cluster Contrastive Framework (DCC) nennen. Dieser Rahmen hält zwei Arten von Speicherbanken auf: eine individuelle und eine zentroide Clustermemory-Bank. Insbesondere berücksichtigt die individuelle Clustermemory jeweils nur ein einzelnes Individuum, um jeweils einen Schritt zur Aktualisierung durchzuführen. Die zentroide Clustermemory nutzt das Mittelmerkmal jedes Clusters, um die entsprechende Clustermemory zu aktualisieren. Bei der Optimierung wird neben dem herkömmlichen kontrastiven Verlust jeder Speicherbank eine cross-view-Konsistenzbedingung angewendet, um die Vorteile beider Speicherbanken auszutauschen und eine diskriminative Beschreibung für die Objekt-ReID zu generieren. Es sei darauf hingewiesen, dass DCC problemlos für überwachtes oder unüberwachtes Objekt-ReID eingesetzt werden kann, indem entweder Ground-Truth-Labels oder generierte Pseudolabels verwendet werden. Umfangreiche Experimente an drei Benchmarks – beispielsweise Market-1501, MSMT17 und VeRi-776 – unter den Bedingungen von überwachtem Objekt-ReID und unüberwachtem Objekt-ReID belegen die Überlegenheit des vorgeschlagenen DCC.