SEN12MS-CR-TS: 多モーダル多時相の雲除去に向けたリモートセンシングデータセット

宇宙搭載衛星を介して収集される光学観測の約半数が霞や雲の影響を受けている。その結果、雲被覆は我々の惑星を連続かつシームレスに監視するリモートセンシング実践者の能力に影響を与える。本研究では、光学衛星画像の再構築と雲除去の課題に対処するために、新しい多モーダルおよび多時相データセットであるSEN12MS-CR-TSを提案する。SEN12MS-CR-TSの利点と使用例を強調するために、以下の2つのモデルを提案する：第1に、一連の雲のある光学画像とレーダー画像から雲がない画像を予測する多モーダル多時相3次元畳み込みニューラルネットワーク（3D-Convolution Neural Network）。第2に、雲被覆された時間系列から雲がない時間系列を予測する系列対系列変換モデル（sequence-to-sequence translation model）。両方のアプローチは実験的に評価され、それぞれのモデルはSEN12MS-CR-TSで訓練およびテストされた。実施された実験は、当該データセットがリモートセンシングコミュニティへの貢献だけでなく、ノイジーな情報を再構築するために多モーダルおよび多時相情報が持つ利点を示している。当該データセットは https://patrickTUM.github.io/cloud_removal で利用可能である。