안개를 보지 않고 안개를 관측하다: 미지의 악천후에서의 깊은 다중모드 센서 융합

다중 모드 센서 스트림의 융합, 예를 들어 카메라, 라이다(LiDAR), 레이더 측정치는 자율 주행 차량의 물체 인식에서 중요한 역할을 합니다. 이들 입력에 기반하여 자동차가 결정을 내리기 때문입니다. 기존 방법들은 환경 조건이 좋은 경우 중복 정보를 활용하지만, 악천후에서는 센서 스트림이 비대칭적으로 왜곡되어 실패합니다. 이러한 드문 '엣지 케이스(edge-case)' 시나리오는 현재 사용 가능한 데이터셋에 포함되어 있지 않으며, 기존 융합 아키텍처도 이를 처리하도록 설계되지 않았습니다. 이 문제를 해결하기 위해 북유럽에서 10,000km 이상 운전하여 얻은 새로운 다중 모드 데이터셋을 제시합니다. 이 데이터셋은 악천후에서 수집된 첫 번째 대규모 다중 모드 데이터셋으로, 라이다, 카메라, 레이더 및 게이티드 근적외선(NIR) 센서에 대한 10만 개의 라벨을 포함하고 있지만, 극단적인 날씨가 드물기 때문에 훈련용으로 적합하지 않습니다. 이를 위해 모든 비대칭 왜곡을 포함하는 대규모 라벨링된 훈련 데이터 없이도 견고한 융합을 위한 딥 융합 네트워크를 제안합니다. 프로포절(proposal) 수준의 융합에서 벗어나 측정 엔트로피에 의해 구동되는 단일 샷 모델을 제안합니다. 이 모델은 특징들을 적응적으로 융합합니다. 우리는 깨끗한 데이터로 훈련된 제안된 방법을 우리의 광범위한 검증 데이터셋에서 검증하였습니다. 코드와 데이터는 다음 링크에서 이용 가능합니다: https://github.com/princeton-computational-imaging/SeeingThroughFog.