HyperAIHyperAI

Command Palette

Search for a command to run...

PointOdyssey: Ein großskaliges synthetisches Datensatz für die Langzeit-Punktverfolgung

Yang Zheng Adam W. Harley Bokui Shen Gordon Wetzstein Leonidas J. Guibas

Zusammenfassung

Wir stellen PointOdyssey vor, ein großskaliges synthetisches Datenset sowie einen Framework zur Datenerzeugung für die Ausbildung und Bewertung von Langzeit-Feinverfolgungsalgorithmen. Unser Ziel besteht darin, den Stand der Technik voranzutreiben, indem wir uns auf lange Videos mit naturgetreuer Bewegung konzentrieren. Um Naturnähe zu erreichen, animieren wir deformierbare Charaktere mithilfe realweltbasierter Motion-Capture-Daten, erstellen 3D-Szenen, die den Motion-Capture-Umgebungen entsprechen, und rendern Kameraperspektiven mittels Trajektorien, die über Structure-from-Motion auf realen Videos extrahiert wurden. Durch die zufällige Variation von Charakter-Aussehen, Bewegungsprofilen, Materialien, Beleuchtung, 3D-Assets und atmosphärischen Effekten schaffen wir kombinatorische Vielfalt. Unser Datenset umfasst derzeit 104 Videos mit einer durchschnittlichen Länge von 2.000 Bildern und enthält um Größenordnungen mehr Korrespondenzannotierungen als frühere Arbeiten. Wir zeigen, dass bestehende Methoden von Grund auf in unserem Datenset trainiert werden können und die veröffentlichten Varianten überflügeln. Schließlich stellen wir Verbesserungen am PIPs-Punktverfolgungsalgorithmus vor, die sein zeitliches Empfangsfeld erheblich vergrößern und dessen Leistung sowohl auf PointOdyssey als auch auf zwei realweltbasierten Benchmark-Datensätzen steigern. Unsere Daten und den Quellcode stellen wir öffentlich unter https://pointodyssey.com zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp