DVI: 자율 주행을 위한 깊이 지도 영상 보정

자율주행에서 명확한 스트리트뷰 및 사진처럼 사실적인 시뮬레이션을 구현하기 위해, 깊이/포인트 클라우드의 안내를 받으며 영상 내 교통 요소를 제거하고 누락된 영역을 합성할 수 있는 자동 영상 보정(Video Inpainting) 알고리즘을 제안한다. 연결된 포인트 클라우드로부터 밀도 높은 3차원 지도를 구축함으로써, 영상 내 프레임들은 공통의 3차원 지도를 통해 기하학적으로 연관된다. 특정 프레임의 대상 보정 영역을 채우기 위해서는 다른 프레임의 픽셀을 정확한 음영 정보를 고려하여 현재 프레임으로 변환하는 것이 직관적이다. 또한, 3차원 포인트 클라우드 정렬을 통해 여러 영상을 융합할 수 있어, 하나의 대상 영상에 대해 다수의 소스 영상을 활용한 보정이 가능해진다. 이는 영상 전체 동안 한 번도 노출되지 않은 장시간 음영 영역 문제를 해결하고자 하는 데에서 비롯된다. 저희 연구가 처음으로 다수의 영상을 융합하여 영상 보정을 수행한 사례라고 할 수 있다. 제안된 방법의 효과성을 검증하기 위해, 동기화된 이미지와 라이다 데이터를 포함하며 장시간 음영과 같은 다양한 도전 과제를 포함한 실제 도시 도로 환경에서 대규모 보정 데이터셋을 구축하였다. 실험 결과, 제안된 방법은 모든 평가 기준에서 최첨단 기법들을 능가하며, 특히 RMSE(Root Mean Squared Error)가 약 13% 감소함을 확인하였다.