WeakM3D: 약한 지도를 통한 단일 카메라 3D 객체 검출

단일 카메라 기반 3D 객체 검출은 3D 장면 이해에서 가장 어려운 과제 중 하나입니다. 단일 이미지의 불완전한 특성으로 인해, 기존의 단일 카메라 기반 3D 검출 방법들은 LiDAR 포인트 클라우드 상에서 수동으로 주석화된 3D 박스 라벨을 사용하여 훈련하는 것에 크게 의존하고 있습니다. 이 주석화 과정은 매우 노동 집약적이고 비용이 많이 듭니다. 이러한 3D 박스 라벨에 대한 의존성을 줄이기 위해, 본 논문에서는 약간의 감독(weakly supervised)을 받는 단일 카메라 기반 3D 객체 검출을 탐구합니다. 구체적으로, 먼저 이미지 상에서 2D 박스를 검출합니다. 그런 다음, 생성된 2D 박스를 이용하여 해당 RoI (Region of Interest) LiDAR 포인트들을 선택하여 약한 감독 신호로 활용합니다. 마지막으로, 이 RoI LiDAR 포인트들과 정확히 일치하는 3D 박스를 예측할 수 있는 네트워크를 도입합니다. 이 네트워크는 예측된 3D 박스와 해당 RoI LiDAR 포인트들 간의 새로운 제안된 3D 정렬 손실(3D alignment loss)을 최소화함으로써 학습됩니다. 우리는 위의 학습 문제에서 잠재적인 난관들을 설명하고, 이러한 난관들을 해결하기 위해 우리의 방법에 여러 가지 효과적인 설계를 소개할 것입니다. 코드는 https://github.com/SPengLiang/WeakM3D 에서 제공될 예정입니다.