RFNet-4D++: 4D 포인트 클라우드에서 크로스 어텐션 시공간 특성을 이용한 객체 재구성 및 흐름 추정

3D 포인트 클라우드로부터 객체 재구성은 컴퓨터 비전과 컴퓨터 그래픽스 분야에서 오랜 연구 문제였으며, 뛰어난 진전을 이룩하였습니다. 그러나 시간에 따라 변하는 포인트 클라우드(이하 4D 포인트 클라우드)로부터의 재구성은 일반적으로 간과되었습니다. 본 논문에서는 4D 포인트 클라우드로부터 객체와 그 움직임 흐름을 동시에 재구성하는 새로운 네트워크 아키텍처, 즉 RFNet-4D++를 제안합니다. 주요 통찰력은 시공간 특징을 포인트 클라우드 시퀀스에서 학습함으로써 두 작업을 동시에 수행하면 개별 작업의 성능을 향상시킬 수 있다는 것입니다. 이 능력을 증명하기 위해, 우리는 객체 재구성을 위한 감독 학습(supervised learning)으로부터 얻은 공간 구조를 활용하여 유동 추정 작업에 대한 비감독 학습(unsupervised learning) 접근법을 사용한 시간 벡터 필드 학습 모듈을 설계하였습니다. 기준 데이터셋(benchmark datasets)에서 수행된 광범위한 실험 및 분석 결과, 우리의 방법이 효과적이고 효율적임이 입증되었습니다. 실험 결과에 따르면, 우리의 방법은 유동 추정과 객체 재구성 모두에서 최신 기술(state-of-the-art) 수준의 성능을 달성하며, 기존 방법들보다 훈련 및 추론 과정에서 훨씬 빠르게 작동합니다. 우리의 코드와 데이터는 https://github.com/hkust-vgd/RFNet-4D 에서 확인할 수 있습니다.