다중 차량 장착 카메라에서 얻은 이미지를 새의 시점으로 의미론적 분할 이미지로 변환하는 Sim2Real 딥러닝 접근법

자동 운전을 위해서는 정확한 환경 인식이 필수적입니다. 단일 카메라를 사용할 때, 환경 내 요소들의 거리 추정은 주요 과제로 작용합니다. 카메라 시점을 새의 눈 시점(Bird's Eye View, BEV)으로 변환하면 거리를 더 쉽게 추정할 수 있습니다. 평평한 표면의 경우, 역시점 매핑(Inverse Perspective Mapping, IPM)을 통해 이미지를 BEV로 정확히 변환할 수 있습니다. 그러나 차량 및 취약한 도로 이용자와 같은 3차원 객체는 이 변환에 의해 왜곡되어 센서와의 상대 위치를 추정하는 것이 어렵습니다. 본 논문에서는 여러 차량 장착 카메라에서 얻은 이미지를 바탕으로 수정된 360° BEV 이미지를 생성하는 방법론을 설명합니다. 수정된 BEV 이미지는 의미론적 클래스로 분할되며, 가려진 영역의 예측도 포함됩니다. 신경망 접근 방식은 수동으로 라벨링된 데이터에 의존하지 않고, 합성 데이터셋을 사용하여 실제 데이터에 잘 일반화될 수 있도록 훈련됩니다. 의미론적으로 분할된 이미지를 입력으로 사용함으로써, 우리는 시뮬레이션 데이터와 실제 세계 데이터 사이의 현실 간극을 줄이고, 우리의 방법론이 실제 세계에서 성공적으로 적용될 수 있음을 보여줄 수 있습니다. 합성 데이터에서 수행된 광범위한 실험 결과는 우리의 접근 방식이 IPM보다 우수함을 입증합니다. 소스 코드 및 데이터셋은 https://github.com/ika-rwth-aachen/Cam2BEV에서 제공됩니다.