Steigerung der 3D-Objektdetektion durch objektorientierte Bildfusion

Die 3D-Objekterkennung hat durch die Verwendung von Punktwolken als einzige Eingabe beachtliche Fortschritte erzielt. Punktwolken leiden jedoch häufig unter unvollständigen geometrischen Strukturen und fehlender semantischer Information, was die genaue Klassifizierung erkannter Objekte erschwert. In dieser Arbeit konzentrieren wir uns darauf, wie objektbezogene Informationen aus Bildern effektiv genutzt werden können, um die Leistung von punktbasierten 3D-Detektoren zu steigern. Wir stellen DeMF vor, eine einfache aber wirksame Methode zur Fusion von Bildinformationen in Punktfunktionen. Gegeben eine Menge von Punktfunktionen und Bildfunktionen, aggregiert DeMF adaptiv die Bildfunktionen, wobei die projizierte 2D-Position des 3D-Punkts als Referenz dient. Wir evaluieren unsere Methode auf dem anspruchsvollen SUN RGB-D-Datensatz und erreichen dabei eine erhebliche Verbesserung gegenüber den bisher besten Ergebnissen (+2,1 mAP@0,25 und +2,3 mAP@0,5). Der Quellcode ist unter https://github.com/haoy945/DeMF verfügbar.