要約
運転中のウィンドウガラスに付着する水滴は、視界を大幅に妨げ、自動車事故の原因となる可能性があります。また、これらの水滴は自動運転におけるコンピュータビジョンシステムの性能も低下させる可能性があります。これらの問題に対処するために、われわれは複数フレームから得られる空間時間表現を融合し、水滴によって隠された視覚情報を復元するための注意に基づくフレームワークを提案します。ビデオからの水滴除去用の訓練データが不足していることから、雨天時の複雑な運転シーンでシミュレーションされた水滴を含む大規模な合成データセットを提案しました。提案手法の汎用性を向上させるために、合成ビデオと実世界画像を組み合わせたクロスモダリティ訓練戦略を採用しています。広範囲にわたる実験結果は、提案手法が良好な汎化能力を持ち、複雑な実世界の運転シーンにおいて最優秀の水滴除去性能を達成できることを示しています。