PointOdyssey: Ein großskaliges synthetisches Datensatz für die Langzeit-Punktverfolgung

Wir stellen PointOdyssey vor, ein großskaliges synthetisches Datenset sowie einen Framework zur Datenerzeugung für die Ausbildung und Bewertung von Langzeit-Feinverfolgungsalgorithmen. Unser Ziel besteht darin, den Stand der Technik voranzutreiben, indem wir uns auf lange Videos mit naturgetreuer Bewegung konzentrieren. Um Naturnähe zu erreichen, animieren wir deformierbare Charaktere mithilfe realweltbasierter Motion-Capture-Daten, erstellen 3D-Szenen, die den Motion-Capture-Umgebungen entsprechen, und rendern Kameraperspektiven mittels Trajektorien, die über Structure-from-Motion auf realen Videos extrahiert wurden. Durch die zufällige Variation von Charakter-Aussehen, Bewegungsprofilen, Materialien, Beleuchtung, 3D-Assets und atmosphärischen Effekten schaffen wir kombinatorische Vielfalt. Unser Datenset umfasst derzeit 104 Videos mit einer durchschnittlichen Länge von 2.000 Bildern und enthält um Größenordnungen mehr Korrespondenzannotierungen als frühere Arbeiten. Wir zeigen, dass bestehende Methoden von Grund auf in unserem Datenset trainiert werden können und die veröffentlichten Varianten überflügeln. Schließlich stellen wir Verbesserungen am PIPs-Punktverfolgungsalgorithmus vor, die sein zeitliches Empfangsfeld erheblich vergrößern und dessen Leistung sowohl auf PointOdyssey als auch auf zwei realweltbasierten Benchmark-Datensätzen steigern. Unsere Daten und den Quellcode stellen wir öffentlich unter https://pointodyssey.com zur Verfügung.