3D 제안 생성 및 객체 검출의 뷰 집계로부터의 통합

우리는 자율 주행 시나리오를 위한 집계 뷰 객체 검출 네트워크인 AVOD(Aggregate View Object Detection)를 제시합니다. 제안된 신경망 구조는 LIDAR 포인트 클라우드와 RGB 이미지를 사용하여 두 하위 네트워크, 즉 영역 제안 네트워크(Region Proposal Network, RPN)와 두 번째 단계 검출 네트워크가 공유할 수 있는 특징을 생성합니다. 제안된 RPN은 고해상도 특징 맵에서 다중 모달 특징 융합을 수행할 수 있는 혁신적인 구조를 사용하여 도로 장면에서 여러 객체 클래스에 대한 신뢰성 있는 3D 객체 제안을 생성합니다. 이러한 제안을 바탕으로 두 번째 단계 검출 네트워크는 정확한 방향성을 가진 3D 바운딩 박스 회귀와 범주 분류를 수행하여 3D 공간 내의 객체의 범위, 방향, 및 분류를 예측합니다. 우리의 제안된 구조는 KITTI 3D 객체 검출 벤치마크에서 최고 수준의 결과를 생성하며, 실시간으로 실행되면서 낮은 메모리 용량을 유지하기 때문에 자율 주행 차량에 배포하기에 적합한 후보입니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/kujason/avod