Template-Aware Transformer für die Person Reidentification

Personen-Identifikation (ReID) ist eine herausfordernde Aufgabe im Bereich des Computersehens, bei der eine oder mehrere Personen identifiziert oder verifiziert werden müssen, wenn Gesichter nicht verfügbar sind. Bei ReID beeinflusst der oft nicht unterscheidbare Hintergrund häufig die Wahrnehmung des Modells für den Vordergrund und verringert somit die Leistungsfähigkeit von ReID-Systemen. Allgemein ist der Hintergrund innerhalb derselben Kamera ähnlich, während er zwischen verschiedenen Kameras erheblich unterschiedlich ist. Ausgehend von dieser Erkenntnis schlagen wir eine Methode namens Template-aware Transformer (TAT) vor, die durch Einführung eines lernbaren Templates in die Transformer-Architektur intersample-unterscheidbare Merkmale erlernt und dadurch die Aufmerksamkeit des Modells auf Regionen mit geringer Unterscheidbarkeit – wie Hintergründe und Verdeckungen – reduziert. Im Multi-Head-Attention-Modul des Encoders richtet dieses Template die template-geprägte Aufmerksamkeit auf die nicht unterscheidbaren Merkmale des Bildes und erhöht schrittweise die Aufmerksamkeit für unterscheidbare Merkmale, je tiefer der Encoder-Block wird. Zudem erhöhen wir die Anzahl der Templates unter Verwendung von Nebeninformationen, um die spezifischen Eigenschaften von ReID-Aufgaben zu berücksichtigen und das Modell an Hintergründe anzupassen, die sich stark je nach Kamera-ID unterscheiden. Schließlich belegen wir die Gültigkeit unserer Theorien anhand verschiedener öffentlicher Datensätze und erzielen durch quantitative Evaluation konkurrenzfähige Ergebnisse.