Command Palette

Search for a command to run...

4ヶ月前

HighRes-net:再帰的融合によるマルチフレームスーパーレゾリューション

{Samira E. Kahou Vincent Michalski Julien Cornebise Israel Goytom Yoshua Bengio Michel Deudon Kris Sankaran Zhichao Lin Md Rifat Arefin Alfredo Kalaitzis}

HighRes-net:再帰的融合によるマルチフレームスーパーレゾリューション

要約

生成型ディープラーニングは、印象的な美術的結果をもたらす一方で架空の詳細を含む単一画像の高解像度化を実現する新しいタイプの超解像(Super-Resolution, SR)アルゴリズムを生み出しました。一方、マルチフレーム超解像(Multi-frame Super-Resolution, MFSR)は、複数の低解像度画像を用いて条件付けを行うことで、この不定解問題に対してより現実的なアプローチを提供します。これは、森林伐採や人権侵害など、地球における人間の影響を衛星監視する上で信頼性の高い画像データに依存する点で極めて重要です。このような目的に応じて、本研究では、初めてエンドツーエンドで以下の4つのサブタスクを統合的に学習する深層学習アプローチであるHighRes-netを提案します:(i)共登録(co-registration)、(ii)融合(fusion)、(iii)アップサンプリング、および(iv)損失関数における登録(registration-at-the-loss)。低解像度画像の共登録は、明示的な登録機構を用いずに、参照フレームチャネルを通じて暗黙的に学習されます。任意の数の低解像度画像ペアに対して再帰的に適用可能なグローバルな融合演算子を学習します。また、ShiftNetを用いて高解像度出力と真値との一致を学習することで、登録済み損失(registered loss)を導入します。本研究では、複数視点の深層表現を学習することで、低解像度信号を高解像度化し、地球観測データのスケールアップされた品質向上が可能であることを示しました。本手法は、最近、実世界の衛星画像を対象とした欧州宇宙機関(ESA)主催のMFSRコンペティションで優勝を果たしました。

ベンチマーク

ベンチマーク方法論指標
multi-frame-super-resolution-on-proba-vHighRes-net
Normalized cPSNR: 0.947388637793901

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
HighRes-net:再帰的融合によるマルチフレームスーパーレゾリューション | 論文 | HyperAI超神経