초록
운전 중 차량 유리창에 생기는 물방울은 시야를 심각하게 가릴 수 있으며, 이는 자동차 사고로 이어질 가능성이 있습니다. 또한, 이러한 물방울은 자율 주행 시스템의 컴퓨터 비전 성능을 저하시킬 수도 있습니다. 이러한 문제를 해결하기 위해, 우리는 여러 프레임에서 추출한 공간-시간 표현을 융합하여 물방울로 인해 가려진 시각 정보를 복원하는 주의 기반 프레임워크를 제안합니다. 비디오에서 물방울 제거를 위한 훈련 데이터가 부족하기 때문에, 우리는 비 오는 날 복잡한 운전 상황에서 시뮬레이션된 물방울을 포함하는 대규모 합성 데이터셋을 제안합니다. 제안된 방법의 일반성을 개선하기 위해, 합성 비디오와 실제 이미지를 결합하는 크로스 모달리티 훈련 전략을 채택하였습니다. 광범위한 실험 결과, 우리의 제안된 방법이 잘 일반화되며 복잡한 실제 운전 환경에서 최상의 물방울 제거 성능을 달성함을 보여주었습니다.