Parameter-effiziente Person Re-identification im 3D-Raum

Menschen leben in einer 3D-Welt. Dennoch berücksichtigen bestehende Arbeiten zum Personen-Identifikationsverfahren (person re-identification, re-id) die semantische Repräsentationslernung hauptsächlich im 2D-Raum, was das Verständnis von Personen inhärent einschränkt. In dieser Arbeit beheben wir diese Beschränkung, indem wir vorherige Kenntnisse über die 3D-Körperstruktur nutzen. Konkret projizieren wir 2D-Bilder in einen 3D-Raum und führen ein neuartiges, parameter-effizientes Omni-Scale-Graph-Netzwerk (OG-Net) ein, das die Repräsentation von Fußgängern direkt aus 3D-Punktwolken lernt. Das OG-Net nutzt effektiv die lokalen Informationen, die durch spärliche 3D-Punkte bereitgestellt werden, und verarbeitet strukturelle sowie optische Informationen kohärent. Durch die Nutzung von 3D-Geometrieinformationen können wir eine neue Art tiefer re-id-Features lernen, die von störenden Variablen wie Skalierung und Blickwinkel unabhängig sind. Soweit uns bekannt ist, gehören wir zu den ersten Forschungsarbeiten, die die Personen-Identifikation im 3D-Raum durchführen. Durch umfangreiche Experimente zeigen wir, dass die vorgeschlagene Methode (1) die Matchingschwierigkeiten im traditionellen 2D-Raum verringert, (2) die ergänzenden Informationen aus 2D-Erscheinungsbild und 3D-Struktur nutzt, (3) mit begrenzten Parametern auf vier großen person-re-id-Datensätzen konkurrenzfähige Ergebnisse erzielt und (4) eine gute Skalierbarkeit für bisher nicht gesehene Datensätze aufweist. Unser Code, die Modelle sowie die generierten 3D-Menschen-Daten sind öffentlich unter https://github.com/layumi/person-reid-3d verfügbar.