Lernen mehrgranularer Hypergraphen für die personenbasierte Re-Identifikation in Videos

Die video-basierte Personenwiedererkennung (re-ID) ist ein zentrales Forschungsthema im Bereich des Computersehens. Der Schlüssel zur Bewältigung dieser anspruchsvollen Aufgabe liegt in der Nutzung sowohl räumlicher als auch zeitlicher Hinweise in Video-Sequenzen. In dieser Arbeit stellen wir einen neuartigen, graphenbasierten Ansatz namens Multi-Granularer Hypergraph (MGH) vor, um eine verbesserte Repräsentationsfähigkeit zu erreichen, indem räumlich-zeitliche Abhängigkeiten auf mehreren Granularitätsstufen modelliert werden. Konkret werden Hypergraphen mit unterschiedlichen räumlichen Granularitäten mithilfe verschiedener Ebenen von teilbasierten Merkmalen über die gesamte Video-Sequenz hinweg aufgebaut. In jedem Hypergraphen werden verschiedene zeitliche Granularitäten durch Hyperkanten erfasst, die eine Menge von Graphknoten (d. h. teilbasierte Merkmale) über verschiedene zeitliche Bereiche verbinden. Zwei entscheidende Probleme – Missalignment und Verdeckung – werden durch die vorgeschlagenen Hypergraphen-Propagation- und Merkmalsaggregationsverfahren explizit adressiert. Schließlich verbessern wir die Gesamtrepräsentation des Videos weiterhin, indem wir diversifiziertere graphenbasierte Repräsentationen mehrerer Granularitäten auf der Grundlage der Minimierung der gegenseitigen Information lernen. Umfangreiche Experimente an drei etablierten Benchmarks belegen eindeutig die Wirksamkeit des vorgeschlagenen Ansatzes. Insbesondere erreicht MGH auf dem MARS-Datensatz eine Top-1-Accuracy von 90,0 %, was die bisherigen State-of-the-Art-Methoden übertrifft. Der Quellcode ist unter https://github.com/daodaofr/hypergraph_reid verfügbar.