GSNet: 기하학적 및 장면 인식 감독을 통한 차량 자세 및 형상 복원

우리는 단일 도시 거리 이미지에서 6자유도(6DoF) 자세와 상세한 3D 차량 모양을 동시에 추정하는 새로운 엔드투엔드 프레임워크인 GSNet (기하학적 및 장면 인식 네트워크, Geometric and Scene-aware Network)를 제시합니다. GSNet은 독특한 사방향 특성 추출 및 융합 방식을 활용하여 단일 순방향 연산으로 6DoF 자세와 모양을 직접 회귀합니다. 광범위한 실험 결과는 우리의 다양하고 통합적인 특성 추출 및 융합 방식이 모델 성능을 크게 향상시킬 수 있음을 보여줍니다.GSNet은 분할 및 정복 기반의 3D 모양 표현 전략을 통해 매우 상세한 3D 차량 모양(1352개의 정점과 2700개의 면)을 재구성합니다. 이러한 밀집 메시 표현은 기하학적 일관성과 장면 맥락을 고려하게 하며, 이를 바탕으로 새로운 다목적 손실 함수를 설계하여 네트워크 학습을 규제함으로써 6D 자세 추정의 정확성을 향상시키고 두 작업을 동시에 수행하는 이점을 검증합니다.우리는 가장 큰 다중 작업 벤치마크인 ApolloCar3D에서 GSNet의 성능을 평가하였으며, 양적 및 질적으로 최신 수준의 성능을 달성하였습니다. 프로젝트 페이지는 https://lkeab.github.io/gsnet/에서 확인할 수 있습니다.