Keypoint-basierte Wiedererkennung

Occluded Person Re-Identification (ReID) ist eine Aufgabe des metrischen Lernens, die das Zuordnen von verdeckten Personen auf der Grundlage ihres Erscheinungsbilds umfasst. Obwohl viele Studien sich mit Verdeckungen durch Objekte befasst haben, bleiben Mehrpersonenverdeckungen weniger erforscht. In dieser Arbeit identifizieren und adressieren wir eine kritische Herausforderung, die von früheren Methoden zur verdeckten ReID übersehen wurde: die Mehrpersonenambiguität (MPA), die entsteht, wenn mehrere Personen in derselben Begrenzungsbox sichtbar sind und es unmöglich ist, das gewünschte ReID-Ziel unter den Kandidaten zu bestimmen. Inspiriert von jüngsten Arbeiten zum Prompting in der Bildverarbeitung führen wir Keypoint Promptable ReID (KPR) ein, eine neue Formulierung des ReID-Problems, die die Eingabe-Begrenzungsbox explizit mit einer Reihe semantischer Keypoints ergänzt, die das gewünschte Ziel angeben. Da promptbasierte Wiedererkennung ein bisher unerforschtes Paradigma ist, fehlen in existierenden ReID-Datensätzen die notwendigen pixelgenauen Annotationen für das Prompting. Um diese Lücke zu schließen und weitere Forschung auf diesem Gebiet zu fördern, stellen wir Occluded-PoseTrack ReID vor, einen neuen ReID-Datensatz mit Keypoint-Labels, der starke Interpersonenverdeckungen enthält. Darüber hinaus veröffentlichen wir benutzerdefinierte Keypoint-Labels für vier gängige ReID-Benchmarks. Experimente zur Personenerkennung sowie zur Pose-Tracking zeigen systematisch, dass unsere Methode verschiedene verdeckte Szenarien in Bezug auf den aktuellen Stand der Technik übertreffen kann. Unser Code, Datensatz und Annotationen sind unter https://github.com/VlSomers/keypoint_promptable_reidentification verfügbar.