要約
生成型ディープラーニングは、印象的な美術的結果をもたらす一方で架空の詳細を含む単一画像の高解像度化を実現する新しいタイプの超解像（Super-Resolution, SR）アルゴリズムを生み出しました。一方、マルチフレーム超解像（Multi-frame Super-Resolution, MFSR）は、複数の低解像度画像を用いて条件付けを行うことで、この不定解問題に対してより現実的なアプローチを提供します。これは、森林伐採や人権侵害など、地球における人間の影響を衛星監視する上で信頼性の高い画像データに依存する点で極めて重要です。このような目的に応じて、本研究では、初めてエンドツーエンドで以下の4つのサブタスクを統合的に学習する深層学習アプローチであるHighRes-netを提案します：（i）共登録（co-registration）、（ii）融合（fusion）、（iii）アップサンプリング、および（iv）損失関数における登録（registration-at-the-loss）。低解像度画像の共登録は、明示的な登録機構を用いずに、参照フレームチャネルを通じて暗黙的に学習されます。任意の数の低解像度画像ペアに対して再帰的に適用可能なグローバルな融合演算子を学習します。また、ShiftNetを用いて高解像度出力と真値との一致を学習することで、登録済み損失（registered loss）を導入します。本研究では、複数視点の深層表現を学習することで、低解像度信号を高解像度化し、地球観測データのスケールアップされた品質向上が可能であることを示しました。本手法は、最近、実世界の衛星画像を対象とした欧州宇宙機関（ESA）主催のMFSRコンペティションで優勝を果たしました。