リモートセンシングにおける自己教師付き学習のための特徴誘導型マスク自動符号化器

自己教師あり学習の一種であるマスク画像モデリング（Masked Image Modelling）に基づく手法、特にマスク自動符号化器（Masked Autoencoder: MAE）は、リモートセンシング分野における視覚変換器（Vision Transformer）の事前学習において広く注目されている。しかし、MAEは画素レベルの詳細に過剰に注目しがちであり、特にノイズの多い合成開口レーダー（SAR）画像において、モデルの意味的理解能力が制限される傾向にある。本研究では、スペクトル的および空間的なリモートセンシング画像特徴量を、MAEの再構成ターゲットとして改善するアプローチを検討する。まず、さまざまな画像特徴量の再構成を実施した結果、いずれも原始的な画素よりも同等または優れた性能を示した。この観察をもとに、特徴量誘導型マスク自動符号化器（Feature Guided Masked Autoencoder: FG-MAE）を提案する。具体的には、多波長画像に対しては勾配方向ヒストグラム（Histograms of Oriented Gradients: HOG）と正規化差分指数（Normalized Difference Indices: NDI）の組み合わせを再構成ターゲットとし、SAR画像に対してはHOGのみを再構成ターゲットとして採用する。3つの下流タスクにおける実験結果から、FG-MAEの有効性が示され、特にSAR画像において顕著な性能向上が確認された。さらに、FG-MAEのスケーラビリティが良好に維持されていることを実証し、中解像度SAR画像および多波長画像向けの初の事前学習済み視覚変換器シリーズを公開した。