SSL4EO-S12：地球観測における自己教師学習を目的とした大規模なマルチモーダル・マルチタイムステップデータセット

自己教師あり事前学習は、人間によるラベル付けなしに表現力豊かな特徴表現を生成する可能性を秘めている。地球観測（EO）分野における大多数の事前学習は、ImageNetや中規模かつラベル付きのリモートセンシング（RS）データセットに基づいている。本研究では、欧州宇宙機関（ESA）のSentinel-1およびSentinel-2衛星ミッションから得られた衛星画像を用いて、大規模かつグローバル、マルチモーダル、マルチシーズンのコアスを構築するための、ラベルなしRSデータセット「SSL4EO-S12（Self-Supervised Learning for Earth Observation - Sentinel-1/2）」を公開する。EOアプリケーションにおいて、SSL4EO-S12を用いた自己教師あり事前学習が、MoCo-v2、DINO、MAE、data2vecの複数の手法で成功を収めたことを示した。得られたモデルは、下流タスクにおける性能が教師あり学習の精度とほぼ同等、あるいはそれを上回る結果を達成した。さらに、既存のデータセットと比較して、SSL4EO-S12での事前学習が優れた性能を発揮することが明らかになった。本研究では、データセット、関連するソースコード、および事前学習済みモデルを、https://github.com/zhu-xlab/SSL4EO-S12 にて公開している。