2달 전

PointConv: 3D 포인트 클라우드에서의 딥 컨볼루셔널 네트워크

Wenxuan Wu; Zhongang Qi; Li Fuxin
PointConv: 3D 포인트 클라우드에서의 딥 컨볼루셔널 네트워크
초록

이미지와 달리 3D 포인트 클라우드는 규칙적인 밀집 그리드로 표현되지 않고, 불규칙하고 순서가 없기 때문에 이들에 컨볼루션을 적용하는 것이 어려울 수 있습니다. 본 논문에서는 동적 필터를 확장하여 새로운 컨볼루션 연산인 PointConv를 제안합니다. PointConv는 3D 포인트 클라우드에 적용되어 깊은 컨볼루셔널 네트워크를 구축할 수 있습니다. 우리는 컨볼루션 커널을 3D 포인트의 국부 좌표로 구성된 무게 함수와 밀도 함수의 비선형 함수로 취급합니다. 주어진 포인트에 대해 무게 함수는 다층 퍼셉트론 네트워크를 통해 학습되고, 밀도 함수는 커널 밀도 추정을 통해 얻어집니다. 본 연구의 가장 중요한 기여는 무게 함수를 효율적으로 계산하기 위한 새로운 재구성 방법을 제안한 것입니다. 이 방법 덕분에 네트워크의 크기를 크게 확장하고 성능을 크게 향상시킬 수 있었습니다. 학습된 컨볼루션 커널은 3D 공간에서 임의의 포인트 세트에 대해 평행 이동 불변성과 순열 불변성을 가진 컨볼루션을 계산하는 데 사용될 수 있습니다. 또한, PointConv는 하위 샘플링된 포인트 클라우드에서 특징을 원래 해상도로 전파하는 역컨볼루션 연산자로도 활용될 수 있습니다. ModelNet40, ShapeNet, ScanNet에서 수행한 실험 결과, PointConv를 기반으로 구축된 깊은 컨볼루셔널 신경망이 3D 포인트 클라우드에서 어려운 의미 분할 벤치마크에서 최고 성능을 달성할 수 있음을 보여주었습니다. 또한 CIFAR-10 데이터셋을 포인트 클라우드로 변환하여 수행한 실험에서는 PointConv를 기반으로 한 네트워크가 유사한 구조를 가진 2D 이미지의 컨볼루셔널 네트워크와 동등한 성능을 보일 수 있음을 확인하였습니다.

PointConv: 3D 포인트 클라우드에서의 딥 컨볼루셔널 네트워크 | 최신 연구 논문 | HyperAI초신경