FlipReID: Brücke den Leistungsunterschied zwischen Training und Inference in der Person Re-Identification

Da neuronale Netzwerke datenintensiv sind, ist die Einbeziehung von Datenverstärkung (data augmentation) im Trainingsprozess eine weit verbreitete Technik, die die Datensätze vergrößert und die Generalisierungsfähigkeit verbessert. Andererseits kann die Aggregation von Vorhersagen mehrerer veränderter Proben (sogenannte Testzeit-Verstärkung, test-time augmentation) die Leistung noch weiter steigern. Im Kontext von Person-Re-Identification-Modellen ist es üblich, Embeddings sowohl für die ursprünglichen Bilder als auch für ihre horizontal gespiegelten Varianten zu extrahieren. Die endgültige Darstellung ergibt sich dann als Mittelwert der entsprechenden Merkmalsvektoren. Dieses Vorgehen führt jedoch zu einer Diskrepanz zwischen Training und Inferenz, da die im Inferenzprozess berechneten Mittelwertvektoren nicht Teil des Trainingsprozesses sind. In dieser Studie stellen wir die FlipReID-Architektur mit einer Spiegelungsverlustfunktion (flipping loss) vor, um dieses Problem zu lösen. Genauer gesagt werden Modelle mit der FlipReID-Architektur gleichzeitig auf ursprünglichen und gespiegelten Bildern trainiert, wobei die Spiegelungsverlustfunktion den mittleren quadratischen Fehler zwischen den Merkmalsvektoren entsprechender Bildpaare minimiert. Umfassende Experimente zeigen, dass unsere Methode konsistente Verbesserungen erzielt. Insbesondere erreichen wir eine neue Bestleistung auf MSMT17, dem größten Person-Re-Identification-Datensatz. Der Quellcode ist unter https://github.com/nixingyang/FlipReID verfügbar.