단일 카메라를 이용한 3D 객체 검출을 위한 깊이 안내 컨볼루션 학습

LiDAR 없이 단일 이미지에서 3D 객체를 감지는 깊이 정보의 부족으로 인해 어려운 과제입니다. 기존의 2D 컨볼루션은 3D 객체 감지를 위해 중요한 로컬 객체와 그 크기 정보를 포착하지 못하므로 이 작업에 적합하지 않습니다. 더 나은 3D 구조 표현을 위해, 이전 연구들은 일반적으로 2D 이미지에서 추정된 깊이 맵을 가상 LiDAR 표현으로 변환한 후, 기존의 3D 포인트 클라우드 기반 객체 검출기를 적용하였습니다. 그러나 이러한 결과는 추정된 깊이 맵의 정확도에 크게 의존하여, 최적의 성능을 내지 못하는 경우가 많습니다. 본 연구에서는 가상 LiDAR 표현을 사용하지 않고, 이미지 기반 깊이 맵에서 필터와 수용 영역을 자동으로 학습할 수 있는 새로운 로컬 컨볼루셔널 네트워크(LCN)인 깊이 안내형 동적-깊이별-다일레이션 LCN (Depth-guided Dynamic-Depthwise-Dilated LCN, D$^4$LCN)을 제안하여 기본적인 2D 완전 컨볼루션을 개선하였습니다. D$^4$LCN은 기존 2D 컨볼루션의 한계를 극복하고 이미지 표현과 3D 포인트 클라우드 표현 사이의 간극을 좁혔습니다. 광범위한 실험 결과, D$^4$LCN은 기존 연구들보다 큰 마진으로 우수한 성능을 보였습니다. 예를 들어, KITTI 데이터셋에서 중간 설정 조건에서 D$^4$LCN은 최신 연구 대비 상대적으로 9.1% 향상되었습니다. 코드는 https://github.com/dingmyu/D4LCN 에서 확인할 수 있습니다.