FB-OCC: 전방-후방 뷰 변환 기반 3D 점유 예측

이 기술 보고서는 CVPR 2023 워크샵 '엔드투엔드 자율 주행'과 CVPR 23 워크샵 '비전 중심의 자율 주행'에서 공동으로 개최된 3D 점유 예측 챌린지의 우승 솔루션을 요약합니다. 제안된 솔루션인 FB-OCC는 전방-후방 투영을 사용하는 최첨단 카메라 기반 조류 시점 인식 설계인 FB-BEV를 기반으로 합니다. FB-BEV를 바탕으로, 우리는 3D 점유 예측 작업에 맞춤화된 새로운 설계와 최적화를 연구하였습니다. 이에는 공동 깊이-의미론 사전 학습, 공동 복셀-BEV 표현, 모델 확장, 그리고 효과적인 후처리 전략이 포함됩니다. 이러한 설계와 최적화로 인해 nuScenes 데이터셋에서 최고 수준의 mIoU 점수(54.19%)를 달성하여 챌린지 트랙에서 1위를 차지했습니다. 코드와 모델은 다음 링크에서 공개될 예정입니다: https://github.com/NVlabs/FB-BEV.기술 용어 처리:- 3D 점유 예측 (3D Occupancy Prediction)- CVPR (Computer Vision and Pattern Recognition)- 엔드투엔드 자율 주행 (End-to-End Autonomous Driving)- 비전 중심의 자율 주행 (Vision-Centric Autonomous Driving)- 조류 시점 인식 (Bird's-Eye View Perception)- 전방-후방 투영 (Forward-Backward Projection)- 공동 깊이-의미론 사전 학습 (Joint Depth-Semantic Pre-training)- 공동 복셀-BEV 표현 (Joint Voxel-BEV Representation)- 모델 확장 (Model Scaling Up)- 후처리 전략 (Post-processing Strategies)- mIoU 점수 (Mean Intersection over Union Score)