Synthehicle: Mehrfahrzeug-Mehrkamera-Verfolgung in virtuellen Städten

Anwendungen im Bereich der Smart City, wie intelligente Verkehrsroutenplanung oder Unfallprävention, basieren auf Computer-Vision-Methoden zur genauen Lokalisierung und Verfolgung von Fahrzeugen. Aufgrund der Knappheit von genau beschrifteten Daten stellt die Erkennung und Verfolgung von Fahrzeugen in 3D aus mehreren Kameras eine erhebliche Herausforderung dar. Wir präsentieren ein umfangreiches synthetisches Datenset für die Mehrfachverfolgung und -segmentierung von Fahrzeugen in mehreren überlappenden und nicht überlappenden Kameraperspektiven. Im Gegensatz zu bestehenden Datensets, die nur Tracking-Ground-Truth für 2D-Bounding-Boxen bereitstellen, enthält unser Datenset zusätzlich perfekte Labels für 3D-Bounding-Boxen in Kamera- und Weltkoordinaten, Tiefenschätzung sowie Instanz-, semantische und panoptische Segmentierung. Das Datenset besteht aus 17 Stunden beschrifteter Videomaterialien, die mit 340 Kameras in 64 verschiedenen Szenarien bei Tag, Regen, Dämmerung und Nacht aufgenommen wurden, wodurch es das umfangreichste Datenset für die Multi-Ziel-Multi-Kamera-Verfolgung bislang ist. Wir stellen Baselines für die Erkennung, die Wiedererkennung von Fahrzeugen sowie die Einzel- und Mehrkameras-Verfolgung zur Verfügung. Der Code und die Daten sind öffentlich zugänglich.