Dichte Tiefenposterior (DDP) aus einem einzelnen Bild und spärlichen Bereichsdaten

Wir präsentieren ein tiefes Lernsystem zur Inferenz der A-posteriori-Verteilung einer dichten Tiefenkarte, die einem Bild zugeordnet ist, durch die Nutzung spärlicher Distanzmessungen, beispielsweise von einem Lidar. Obwohl der Lidar nur für einen kleinen Prozentsatz der Pixel einen Tiefenwert liefern mag, nutzen wir Regularitäten, die im Trainingsdatensatz widergespiegelt sind, um die Karte zu vervollständigen und eine Wahrscheinlichkeitsverteilung über die Tiefe für jedes Pixel des Bildes zu erhalten. Wir verwenden ein bedingtes Vorwissen-Netzwerk (Conditional Prior Network), das es ermöglicht, jeder Tiefenwerte unter Berücksichtigung eines Bildes eine Wahrscheinlichkeit zuzuordnen, und kombinieren es mit einem Likelihood-Term, der die spärlichen Messungen nutzt. Optional können wir während des Trainings auch die Verfügbarkeit von Stereoaufnahmen nutzen, erfordern jedoch bei der Laufzeit lediglich ein einzelnes Bild und eine spärliche Punktwolke. Wir testen unseren Ansatz sowohl bei unüberwachter als auch überwachter Tiefenvervollständigung unter Verwendung des KITTI-Benchmarks und verbessern den Stand der Technik in beiden Bereichen.