단일 카메라를 이용한 3D 객체 검출의 로컬라이제이션 오류에 대한 연구

단일 카메라 이미지에서 3D 바운딩 박스를 추정하는 것은 자율 주행의 필수적인 구성 요소이지만, 이와 같은 데이터에서 정확한 3D 객체 검출은 매우 어려운 문제입니다. 본 연구에서는 집중적인 진단 실험을 통해 각 하위 작업이 미치는 영향을 측정하고, 단일 카메라 기반 3D 검출에 제약을 가하는 핵심 요인이 '위치 오류(localization error)'임을 발견하였습니다. 또한, 위치 오류의 근본적인 원인을 조사하고, 그로 인해 발생할 수 있는 문제들을 분석하여 세 가지 전략을 제안합니다. 첫째, 2D 바운딩 박스의 중심과 3D 객체의 투영된 중심 사이의 불일치를 재검토하였습니다. 이는 낮은 위치 정확도를 초래하는 중요한 요인입니다. 둘째, 현재 기술로 멀리 떨어진 객체를 정확히 위치시키는 것은 거의 불가능하며, 이러한 샘플들은 학습된 네트워크를 오도할 수 있습니다. 이를 해결하기 위해, 이러한 샘플들을 학습 데이터셋에서 제거하여 검출기의 전체 성능을 개선하는 방법을 제안합니다. 마지막으로, '위치 오류'에 영향을 받지 않는 새로운 3D IoU(Intersection over Union) 기반 손실 함수를 제안하여 객체 크기 추정에 활용합니다. KITTI 데이터셋에서 광범위한 실험을 수행한 결과, 제안된 방법은 실시간 검출이 가능하며 기존 방법들보다 크게 우수한 성능을 보였습니다. 코드는 다음과 같이 공개될 예정입니다: https://github.com/xinzhuma/monodle.