Komplementäre Pseudo-Multimodale Merkmale für die Anomalieerkennung in Punktwolken

Die Anomalieerkennung in Punktwolken (PCD) entwickelt sich stetig zu einem vielversprechenden Forschungsgebiet. Diese Studie strebt an, die Leistung der PCD-Anomalieerkennung durch die Kombination von manuell erstellten PCD-Beschreibungen mit leistungsstarken vortrainierten 2D-Neuronalen Netzen zu verbessern. Zu diesem Zweck schlägt diese Studie das Komplementäre Pseudo-Multimodale Merkmal (CPMF) vor, das lokale geometrische Informationen im 3D-Modus unter Verwendung von manuell erstellten PCD-Desciptoren und globale semantische Informationen im generierten pseudo 2D-Modus unter Verwendung von vortrainierten 2D-Neuronalen Netzen integriert. Für die Extraktion globaler Semantik projiziert CPMF die ursprüngliche PCD in einen pseudo 2D-Modus, der mehrere Ansichten enthält. Diese Bilder werden an vortrainierte 2D-Neuronale Netze übergeben, um informative Merkmale des 2D-Modus zu extrahieren. Die Merkmale des 3D- und 2D-Modus werden aggregiert, um das CPMF für die PCD-Anomalieerkennung zu erhalten. Ausführliche Experimente zeigen die komplementäre Kapazität zwischen den Merkmalen des 2D- und 3D-Modus sowie die Effektivität des CPMF, wobei auf dem MVTec3D-Benchmark Werte von 95,15 % im bildbasierten AU-ROC und 92,93 % im pixelbasierten PRO erreicht wurden. Der Quellcode ist unter https://github.com/caoyunkang/CPMF verfügbar.