Command Palette
Search for a command to run...
Volumetrisches Propagationsnetzwerk: Fusion von Stereo-LiDAR für die Tiefenschätzung auf große Distanzen
Volumetrisches Propagationsnetzwerk: Fusion von Stereo-LiDAR für die Tiefenschätzung auf große Distanzen
Jaesung Choe; Kyungdon Joo; Tooba Imtiaz; In So Kweon
Zusammenfassung
Die Fusion von Stereo-LiDAR ist eine vielversprechende Aufgabe, da wir zwei verschiedene Arten der 3D-Wahrnehmung für praktische Anwendungen nutzen können – dichte 3D-Informationen (Stereo-Kameras) und hochgenaue dünnbesetzte Punktwolken (LiDAR). Aufgrund ihrer unterschiedlichen Modalitäten und Strukturen ist die Methode zur Ausrichtung der Sensordaten jedoch entscheidend für den erfolgreichen Sensorzusammenhang. Zu diesem Zweck schlagen wir ein geometriebewusstes Stereo-LiDAR-Fusionnetzwerk für die Schätzung von Langreichweitentiefen vor, das als Volumetrisches Propagationsnetzwerk (Volumetric Propagation Network) bezeichnet wird. Das Kernkonzept unseres Netzwerks besteht darin, dünnbesetzte und genaue Punktwolken als Leitfaden für die Korrespondenz von Stereo-Bildern in einem vereinten 3D-Volumenraum zu nutzen. Im Gegensatz zu bestehenden Fusionsstrategien integrieren wir die Punktwolken direkt ins Volumen, was es uns ermöglicht, gültige Informationen in benachbarte Voxel im Volumen zu verbreiten und die Unsicherheit der Korrespondenz zu verringern. Dadurch können wir zwei verschiedene Eingabemodalitäten nahtlos zusammenführen und eine Tiefenkarte mit langer Reichweite regredieren. Unser Fusionsprozess wird durch einen neu entwickelten Feature-Extraktionslayer für Punktwolken, geleitet durch Bilder, weiter verbessert: FusionConv. FusionConv extrahiert Features aus Punktwolken, die sowohl semantische (2D-Bildbereich) als auch geometrische (3D-Bereich) Beziehungen berücksichtigen und die Fusion im Volumen unterstützen. Unser Netzwerk erzielt den aktuellen Stand der Technik auf den KITTI- und Virtual-KITTI-Datensätzen unter den jüngsten Methoden zur Fusion von Stereo-LiDAR.