HighRes-net: 卫星画像のマルチフレームスーパーレゾリューションのための再帰的融合

生成深層学習は、単一の画像を美しく向上させる新しいスーパーレゾリューション（SR）アルゴリズムの波を引き起こしましたが、その詳細は想像上のものです。マルチフレームスーパーレゾリューション（MFSR）は、複数の低解像度ビューに基づいて条件付けを行うことで、この不適切な問題により実践的なアプローチを提供します。これは、森林伐採から人権侵害まで、地球への人間の影響を衛星監視する際において信頼性のある画像に依存する重要な課題です。この目的のために、私たちはHighRes-netを提案します。これは、MFSRに対する最初の深層学習アプローチであり、以下のサブタスクをエンドツーエンドで学習します：(i) 共登録（co-registration）、(ii) 結合（fusion）、(iii) 拡大（up-sampling）、および (iv) 損失での登録（registration-at-the-loss）。低解像度ビューの共登録は、明示的な登録メカニズムなしで参照フレームチャネルを通じて暗黙的に学習されます。私たちは任意の数の低解像度ペアに対して再帰的に適用されるグローバルな結合演算子を学習します。ShiftNetを使用してSR出力を真値に合わせてアライメントを学習することにより、登録された損失を導入します。私たちは複数ビューの深い表現を学習することで、低解像度信号をスーパーレゾリューション化し、大規模な地球観測データを向上させることができるということを示しています。当社の手法は最近、欧州宇宙機関（European Space Agency）が主催する現実世界の衛星画像に関するMFSRコンペティションで最優秀賞に選ばれました。