高分解像光学画像とSAR画像の融合を用いた生成的対抗ネットワークを用いたクラウド除去

雲の存在は、光学リモートセンシング画像における情報欠損の主要因の一つであり、地球観測におけるさらなる応用を制限している。したがって、雲によって引き起こされる情報欠損の復元方法は極めて重要な課題である。本研究では、畳み込みニューラルネットワーク（CNN）を基盤とする画像間変換技術と異種情報統合の思想を参考に、新たな雲除去手法を提案する。本手法は概ね二段階のプロセスで構成される。第一段階では、特別に設計された畳み込みニューラルネットワーク（CNN）を用いて、合成開口レーダー（SAR）画像を対象物ごとの対応関係に基づき擬似的な光学画像に変換する。第二段階では、生成的対抗ネットワーク（GAN）を用いて、第一段階で得られた擬似光学画像、SAR画像、および雲によって汚損された光学画像を統合し、損傷領域を再構成する。第一段階と第二段階の間に、擬似光学画像のコントラストおよび輝度をランダムに変更することで、モデルのロバスト性を向上させる。Sentinel-1/2、GF-2/3、航空機搭載SAR/光学データを用いた2つのシミュレーション実験および1つの実データ実験を通じて、提案手法の有効性を検証した。結果から、本手法はSAR画像を補助データとして用いる最新の手法と比較しても優れた性能を示すことが明らかになった。