Frustum ConvNet: Amodal 3D 오브젝트 검출을 위한 로컬 포인트-와이즈 특성의 슬라이딩 프루스텀 집계

본 연구에서는 포인트 클라우드에서 모달 3D 객체 검출을 위한 새로운 방법인 \emph{프루스텀 컨볼루션 네트워크 (F-ConvNet)}를 제안합니다. RGB 이미지에서 주어진 2D 영역 제안에 대해, 본 방법은 먼저 각 영역 제안에 대한 프루스텀 시퀀스를 생성하고, 얻은 프루스텀을 사용하여 로컬 포인트들을 그룹화합니다. F-ConvNet은 포인트별 특징을 프루스텀 수준의 특징 벡터로 집계하고, 이 특징 벡터들을 피처 맵으로 배열하여 후속 구성요소인 완전 컨볼루션 네트워크 (FCN)에서 공간적으로 프루스텀 수준의 특징들을 융합하고, 3D 공간에서 방향성을 가진 박스들의 연속적인 추정을 지원합니다. 또한, 다중 해상도 프루스텀 특징을 추출하는 FCN 변형 및 축소된 3D 공간에서 F-ConvNet의 개선된 활용 등 F-ConvNet의 구성 요소 변형들을 제안합니다. 신중한 아블레이션 연구를 통해 이러한 구성 요소 변형들의 효과가 확인되었습니다. F-ConvNet은 작업 환경의 3D 사전 지식을 필요로 하지 않으므로 데이터셋에 독립적입니다. 실내 SUN-RGBD와 실외 KITTI 데이터셋에 대한 실험 결과를 제시하며, F-ConvNet은 SUN-RGBD에서 모든 기존 방법을 능가하였으며, 제출 시점에서는 KITTI 벤치마크에서 모든 공개된 연구보다 우수한 성능을 보였습니다. 코드는 다음과 같이 제공됩니다: {\url{https://github.com/zhixinwang/frustum-convnet}}.