HyperAIHyperAI

Command Palette

Search for a command to run...

Mehrfachansicht 3D-Punktverfolgung

Frano Rajič Haofei Xu Marko Mihajlovic Siyuan Li Irem Demir et al

Zusammenfassung

Wir stellen den ersten datengetriebenen Multi-View-3D-Punktverfolgungsalgorithmus vor, der beliebige Punkte in dynamischen Szenen unter Verwendung mehrerer Kameras verfolgt. Im Gegensatz zu bestehenden monokularen Verfolgungsmethoden, die mit Tiefenambiguitäten und Verdeckung kämpfen, oder zu vorherigen Multi-Kamera-Ansätzen, die über 20 Kameras erfordern und eine aufwendige, sequenzspezifische Optimierung erfordern, prädikt unser feed-forward-Modell direkt 3D-Korrespondenzen mit einer praktischen Anzahl von Kameras (z. B. vier), wodurch robuste und genaue Echtzeit-Verfolgung ermöglicht wird. Gegeben bekannte Kameraposen sowie entweder sensorbasierte oder geschätzte Multi-View-Tiefeninformationen, fusioniert unser Tracker mehrere Sichtinformationen zu einer einheitlichen Punktewolke und wendet eine k-nächste-Nachbarn-Korrelation zusammen mit einem transformerbasierten Update-Verfahren an, um auch unter Verdeckung zuverlässig lange Reichweiten 3D-Korrespondenzen zu schätzen. Wir trainieren das Modell an 5.000 synthetischen Multi-View-Sequenzen aus der Kubric-Datenbank und evaluieren es an zwei realen Benchmarks: Panoptic Studio und DexYCB, wobei wir jeweils mittlere Trajektorienfehler von 3,1 cm und 2,0 cm erreichen. Unser Ansatz generalisiert gut auf unterschiedliche Kameraanordnungen mit 1 bis 8 Ansichten, variierenden Blickwinkeln sowie Videolängen zwischen 24 und 150 Bildern. Durch die Veröffentlichung unseres Trackers gemeinsam mit Trainings- und Evaluierungsdatensätzen wollen wir einen neuen Standard für die Forschung im Bereich der Multi-View-3D-Verfolgung setzen und eine praktikable Lösung für reale Anwendungen bereitstellen. Die Projektseite ist unter dieser URL verfügbar: [https://...].


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp