Deep MANTA: Ein grob-zu-fein Netzwerk für mehrere Aufgaben zur gemeinsamen 2D- und 3D-Fahrzeuganalyse aus monokularen Bildern

In dieser Arbeit stellen wir einen neuen Ansatz vor, der als Deep MANTA (Deep Many-Tasks) bezeichnet wird, zur Analyse von Fahrzeugen in gegebenen Bildern für mehrere Aufgaben. Es wird ein robustes Faltungsnetzwerk (Convolutional Network) vorgestellt, das die gleichzeitige Erkennung von Fahrzeugen, Lokalisierung von Teilen, Sichtbarkeitscharakterisierung und 3D-Abmessungsschätzung ermöglicht. Die Architektur dieses Netzwerks basiert auf einem neuen grob-zu-feinen Objektvorschlag (coarse-to-fine object proposal), der die Fahrzeugerkennung verbessert. Darüber hinaus ist das Deep MANTA-Netzwerk in der Lage, Fahrzeugteile zu lokalisieren, selbst wenn diese Teile nicht sichtbar sind. Im Inferenzprozess werden die Ausgaben des Netzwerks von einem Echtzeit-Algorithmus für eine robuste Pose-Schätzung verwendet, um eine genaue Orientierungsschätzung und eine 3D-Lokalisierung der Fahrzeuge durchzuführen. Unsere Experimente zeigen, dass unsere Methode monokulare state-of-the-art-Ansätze bei den Aufgaben der Fahrzeugerkennung, Orientierung und 3D-Lokalisierung im sehr anspruchsvollen KITTI-Benchmark übertrifft.