2ヶ月前
衛星画像におけるクラウド除去を用いた時空間生成ネットワーク
Sarukkai, Vishnu ; Jain, Anirudh ; Uzkent, Burak ; Ermon, Stefano
要約
衛星画像は、継続的な環境監視や地球観測において大きな可能性を秘めています。しかし、雲が投射する影(occlusions)はカバレッジを大幅に制限し、地上情報の抽出を困難にすることがあります。既存の手法では、通常、単純な時間合成や手作りのフィルターを使用して雲除去を行います。これに対して、我々は雲除去の問題を条件付き画像合成の課題として捉え、学習可能な空間時間ジェネレーターネットワーク(Spatiotemporal Generator Network: STGAN)を提案します。我々は新しい大規模な空間時間データセットを構築し、その上でモデルを訓練しました。このデータセットには97,640組の画像ペアが含まれており、すべての大陸をカバーしています。実験結果から、提案したSTGANモデルが標準的なモデルよりも優れており、様々な大気条件下で高PSNR値と高SSIM値を持つ現実的な雲なし画像を生成できることを示しました。これにより、土地被覆分類などの下流タスクにおける性能向上が期待できます。