Command Palette
Search for a command to run...
Point-Voxel CNN für effizientes 3D-Tiefenlernen
Point-Voxel CNN für effizientes 3D-Tiefenlernen
Zhijian Liu; Haotian Tang; Yujun Lin; Song Han
Zusammenfassung
Wir stellen das Point-Voxel Convolutional Neural Network (PVCNN) für effizientes und schnelles 3D-Tiefenlernen vor. Frühere Arbeiten verarbeiteten 3D-Daten entweder mit voxelbasierten oder punktbasierten Neuronalen Netzen (NN). Beide Ansätze sind jedoch rechnerisch ineffizient. Die Rechenkosten und Speicherbedarf der voxelbasierten Modelle steigen kubisch mit der Eingabeauflösung, was es speicherintensiv macht, die Auflösung zu erhöhen. Bei punktbasierten Netzwerken wird bis zu 80 % der Zeit verschwendet, um die dünn besetzten Daten zu strukturieren, die eine eher schlechte Speicherlokalisierung aufweisen, anstatt auf die tatsächliche Merkmalsextraktion. In dieser Arbeit schlagen wir das PVCNN vor, das die 3D-Eingabedaten in Punkten darstellt, um den Speicherverbrauch zu reduzieren, während es die Faltungen in Voxel durchführt, um den unregelmäßigen Zugriff auf dünn besetzte Daten zu minimieren und die Lokalisierung zu verbessern. Unser PVCNN-Modell ist sowohl speicher- als auch recheneffizient. Es wurde an semantischen und Teilsegmentierungsdatensätzen evaluiert und erreicht eine viel höhere Genauigkeit als das voxelbasierte Baseline-Modell bei einer zehnfachen Reduktion des GPU-Speichers; es übertrifft zudem die besten punktbasierten Modelle im Durchschnitt siebenfach in Bezug auf Geschwindigkeit. Bemerkenswerterweise erreicht die schmalere Version von PVCNN eine doppelte Geschwindigkeitssteigerung gegenüber PointNet (einem extrem effizienten Modell) bei den Teilsegmentierungs- und Szenensegmentierungsbenchmarks mit deutlich höherer Genauigkeit. Wir bestätigen die allgemeine Effektivität von PVCNN anhand der 3D-Objekterkennung: Durch den Austausch der Primitiven in Frustrum PointNet gegen PVConv übertrifft es Frustrum PointNet++ im Durchschnitt um 2,4 % mAP bei einer einhalbmaligen Geschwindigkeitssteigerung und Reduktion des GPU-Speichers.