초록
일반적인 LiDAR 3D 검출기들은 깊이 추정 네트워크를 통해 깊이 인식 능력을 향상시키고, LiDAR 기반 3D 검출 아키텍처를 활용함으로써 단일 카메라 기반 3D 검출에서 놀라운 진전을 이뤘다. 고급 스테레오 3D 검출기는 또한 3D 객체의 정확한 위치를 파악할 수 있다. 스테레오 시야 생성에 있어서 이미지 간 생성 간격은 이미지에서 LiDAR 생성 간격보다 훨씬 작다. 이러한 사실에 영감을 받아, 우리는 단일 이미지에서 3D 객체를 검출하기 위해 세 가지 새로운 가상 시점 생성 방법—이미지 수준 생성, 특징 수준 생성, 특징 클론—을 포함하는 의사-스테레오 3D 검출 프레임워크를 제안한다. 깊이 인식 학습에 대한 분석 결과, 깊이 손실은 특징 수준의 가상 시점 생성에서만 효과적이며, 추정된 깊이 맵은 이미지 수준과 특징 수준 모두에서 효과적임을 확인했다. 또한, 깊이 특징 맵에서 동적 커널을 샘플링하여 깊이 차이별 동적 컨볼루션을 제안함으로써, 단일 이미지로부터 특징을 적응적으로 필터링하여 깊이 추정 오차로 인한 특징 저하를 완화한다. 제출 마감일(2021년 11월 18일) 기준으로, 본 연구의 의사-스테레오 3D 검출 프레임워크는 KITTI-3D 벤치마크에서 단일 카메라 기반 3D 검출기 중 차량, 보행자, 자전거 탑승자 분야에서 모두 1위를 기록했다. 코드는 https://github.com/revisitq/Pseudo-Stereo-3D 에 공개되어 있다.