Nicht-Lokale Latente Beziehungsdestillation für selbstadaptierende 3D-Pose-Schätzung von Menschen

Verfügbare Ansätze zur 3D-Pose-Schätzung von Menschen nutzen verschiedene Formen starker (2D/3D-Pose) oder schwacher (mehrere Ansichten oder Tiefeninformation) paarweiser Überwachung. Abgesehen von synthetischen oder Studio-Domains ist das Erhalten einer solchen Überwachung für jede neue Zielumgebung äußerst umständlich. Daher formulieren wir das Lernen von 3D-Posen als ein selbstüberwachtes Anpassungsproblem, das das Ziel hat, das Aufgabenwissen von einer etikettierten Quelldomain auf eine vollständig unpaarierte Zieldomain zu übertragen. Wir schlagen vor, die Abbildung von Bild zu Pose durch zwei explizite Abbildungen zu realisieren: Bild-zu-Latent und Latent-zu-Pose, wobei die letztere ein vorgefertigter Dekoder aus einem generativen adversären Autoencoder mit vorheriger Einschränkung ist. Als Nächstes führen wir Relationenverdünnung ein, um unpaarierte multimodale Stichproben auszurichten, d.h. unpaarierte Zielvideos und unpaarierte 3D-Pose-Folgen. Zu diesem Zweck schlagen wir eine neue Reihe nicht-lokaler Relationen vor, um langreichweitige latente Pose-Interaktionen zu charakterisieren, im Gegensatz zu allgemeinen kontrastiven Relationen, bei denen positive Kopplungen auf eine lokale Nachbarschaftsstruktur beschränkt sind. Darüber hinaus bieten wir eine objektive Methode zur Quantifizierung der Nicht-Lokalität, um den effektivsten Satz von Relationen auszuwählen. Wir evaluieren verschiedene Szenarien der Selbstanpassung und zeigen leistungsstarke Ergebnisse der 3D-Pose-Schätzung von Menschen an Standard-Benchmarks auf.