軽量かつ事前学習済みのトランスフォーマーを用いたリモートセンシング時系列データの処理

衛星データに対する機械学習手法は、社会的に重要な多くの応用を持つが、モデルの訓練に使用されるラベルを取得することが困難または不可能な場合がある。自己監督学習は、ラベル付きデータが限られている状況での自然な解決策であるが、現在の衛星データ向けの自己監督モデルは、そのデータの特性（時間的次元を含む）や複数の補完的なセンサーからのデータの利用可能性（これはモデルの予測性能を大幅に向上させる可能性がある）を活用できていない。本稿では、リモートセンシングピクセル時系列データで事前学習されたモデル「Presto（Pretrained Remote Sensing Transformer）」を紹介する。Prestoはリモートセンシングデータに特化して設計されており、大幅に小型化されたにもかかわらず高性能を維持できる。Prestoは世界中で分布する多様なリモートセンシングタスクにおいて優れた性能を発揮し、大規模なモデルと競合しつつも遥かに少ない計算資源で動作する。また、転移学習や単純なモデルの特徴抽出器として使用することで、効率的な大規模展開が可能となる。