18日前

内部GANを用いた盲目的スーパーレゾリューションカーネル推定

Sefi Bell-Kligler, Assaf Shocher, Michal Irani
内部GANを用いた盲目的スーパーレゾリューションカーネル推定
要約

スーパーレゾリューション(SR)手法は、通常、低解像度(LR)画像が未知の高解像度(HR)画像から固定された「理想」のダウンスケーリングカーネル(例えば、バイキュービックによるダウンスケーリング)によって縮小されたものと仮定している。しかし、実際のLR画像においては、この仮定はほとんど成り立たない。これは、合成されたSRデータセットとは対照的である。仮定されたダウンスケーリングカーネルが真のカーネルと異なる場合、SR手法の性能は著しく低下する。このような問題を背景に、「ブラインドSR」、すなわちダウンスケーリングカーネル(「SRカーネル」)が未知である状況でのSRが登場した。さらに、真のSRカーネルは、LR画像のスケール間でパッチの再現性を最大化するものであることが示された。本論文では、この強力なスケール間再現性の性質が、ディープインテナラルラーニング(Deep Internal Learning)を用いて実現可能であることを示す。我々は「KernelGAN」という、テスト時に入力LR画像のみを用いて学習を行う画像固有のインテナラルGAN(Internal-GAN)を提案する。このモデルは、テスト画像の内部パッチ分布を学習する。Generatorは、ダウンスケーリングされた画像のパッチ分布と、元のLR画像のパッチ分布を識別不能にするように学習される。つまり、Discriminatorは、ダウンスケーリング後の画像と元の画像のパッチ分布を区別できなくなるように設計される。Generatorが学習を終えた後、その出力は、画像固有の正しいSRカーネルによるダウンスケーリング操作として機能する。KernelGANは完全に非教師ありであり、入力画像以外の学習データを必要とせず、既存のSRアルゴリズムに組み込むことで、ブラインドSRにおいて最先端の性能を達成する。

内部GANを用いた盲目的スーパーレゾリューションカーネル推定 | 最新論文 | HyperAI超神経