PointRCNN: 3D-Objektvorschlagenerstellung und -Erkennung aus Punktwolken

In dieser Arbeit schlagen wir PointRCNN für die 3D-Objekterkennung aus rohen Punktwolken vor. Das gesamte Framework besteht aus zwei Stufen: Stufe-1 zur bottom-up 3D-Vorschlagsgenerierung und Stufe-2 zur Verfeinerung der Vorschläge in kanonischen Koordinaten, um die endgültigen Erkennungsergebnisse zu erhalten. Im Gegensatz zu früheren Methoden, die Vorschläge aus RGB-Bildern oder die Punktwolke in eine Vogelperspektive oder Voxel projizieren, generiert unser Subnetzwerk von Stufe-1 direkt eine geringe Anzahl hochwertiger 3D-Vorschläge aus der Punktwolke durch Segmentierung der gesamten Szenenpunktwolke in Vordergrundpunkte und Hintergrund. Das Subnetzwerk von Stufe-2 transformiert die gepoolten Punkte jedes Vorschlags in kanonische Koordinaten, um bessere lokale räumliche Merkmale zu lernen. Diese werden mit den globalen semantischen Merkmalen jedes Punktes kombiniert, die in Stufe-1 gelernt wurden, für eine genaue Boxverfeinerung und Konfidenzvorhersage. Ausführliche Experimente am 3D-Erkennungsbenchmark des KITTI-Datensatzes zeigen, dass unsere vorgeschlagene Architektur bei Verwendung von ausschließlich Punktwolken als Eingabe erheblich bessere Ergebnisse als state-of-the-art-Methoden erzielt. Der Code ist unter https://github.com/sshaoshuai/PointRCNN verfügbar.