NeuralPCI: 3D 포인트 클라우드 다중 프레임 비선형 보간을 위한 시공간 신경 필드

최근 몇 년간 컴퓨터 비전의 보간 작업에 대한 관심이 크게 증가했습니다. 비디오 보간 분야에서 엄청난 발전이 이루어졌음에도 불구하고, 포인트 클라우드 보간은 여전히 충분히 탐구되지 않았습니다. 한편, 실제 상황에서 많은 비선형 대규모 움직임이 존재하여 포인트 클라우드 보간 작업을 더욱 어려운 것으로 만들고 있습니다. 이러한 문제를 고려하여, 우리는 NeuralPCI: 3D 포인트 클라우드 보간을 위한 end-to-end 4D 시공간 신경망 필드(Neural field)를 제시합니다. 이 모델은 비선형 대규모 움직임을 처리하기 위해 다중 프레임 정보를 암시적으로 통합하며, 실내 및 실외 상황 모두에서 효과적입니다. 또한, 자율 주행 장면에서 큰 비선형 움직임을 가진 새로운 다중 프레임 포인트 클라우드 보간 데이터셋인 NL-Drive를 구축하여 우리의 방법의 우수성을 더 잘 입증할 수 있도록 하였습니다. 결국, NeuralPCI는 DHB (동적인 인간 몸체)와 NL-Drive 데이터셋 모두에서 최고 수준의 성능을 달성하였습니다. 보간 작업 외에도, 우리의 방법은 자연스럽게 포인트 클라우드 외삽, 변형(morphing), 그리고 자동 라벨링으로 확장될 수 있으며, 이는 다른 영역에서도 그 잠재력을 크게 나타냅니다. 코드는 https://github.com/ispc-lab/NeuralPCI에서 제공됩니다.