Mehrfachansicht 3D-Punktverfolgung

Wir stellen den ersten datengetriebenen Multi-View-3D-Punktverfolgungsalgorithmus vor, der beliebige Punkte in dynamischen Szenen unter Verwendung mehrerer Kameras verfolgt. Im Gegensatz zu bestehenden monokularen Verfolgungsmethoden, die mit Tiefenambiguitäten und Verdeckung kämpfen, oder zu vorherigen Multi-Kamera-Ansätzen, die über 20 Kameras erfordern und eine aufwendige, sequenzspezifische Optimierung erfordern, prädikt unser feed-forward-Modell direkt 3D-Korrespondenzen mit einer praktischen Anzahl von Kameras (z. B. vier), wodurch robuste und genaue Echtzeit-Verfolgung ermöglicht wird. Gegeben bekannte Kameraposen sowie entweder sensorbasierte oder geschätzte Multi-View-Tiefeninformationen, fusioniert unser Tracker mehrere Sichtinformationen zu einer einheitlichen Punktewolke und wendet eine k-nächste-Nachbarn-Korrelation zusammen mit einem transformerbasierten Update-Verfahren an, um auch unter Verdeckung zuverlässig lange Reichweiten 3D-Korrespondenzen zu schätzen. Wir trainieren das Modell an 5.000 synthetischen Multi-View-Sequenzen aus der Kubric-Datenbank und evaluieren es an zwei realen Benchmarks: Panoptic Studio und DexYCB, wobei wir jeweils mittlere Trajektorienfehler von 3,1 cm und 2,0 cm erreichen. Unser Ansatz generalisiert gut auf unterschiedliche Kameraanordnungen mit 1 bis 8 Ansichten, variierenden Blickwinkeln sowie Videolängen zwischen 24 und 150 Bildern. Durch die Veröffentlichung unseres Trackers gemeinsam mit Trainings- und Evaluierungsdatensätzen wollen wir einen neuen Standard für die Forschung im Bereich der Multi-View-3D-Verfolgung setzen und eine praktikable Lösung für reale Anwendungen bereitstellen. Die Projektseite ist unter dieser URL verfügbar: [https://...].