画像スーパーレゾリューションを実現するための分布変換を用いた順次階層学習

近年の画像超解像（SR）研究では、階層的な特徴情報の探索を目的としてマルチスケール設計が注目されている。既存のマルチスケールネットワークは、復元性能を向上させるために複雑なブロック構造や段階的なアーキテクチャを構築することを目指している。一般的に、大きなスケールの特徴は構造的および高レベルの情報に集中するのに対し、小さなスケールの特徴には豊富なディテールやテクスチャ情報が含まれる。この観点から、大きなスケールの特徴情報は小さなスケールの特徴から導出可能であると考えられる。この洞察に基づき、本稿では効率的な画像超解像を実現するための逐次階層学習超解像ネットワーク（SHSR）を提案する。特に、特徴間のスケール間相関に着目し、階層的な情報を段階的に探索するための逐次マルチスケールブロック（SMB）を設計した。SMBは畳み込み演算の線形性を活用し、パラメータ制限のもとで再帰的に構成されている。また、逐次階層学習に加えて、特徴マップ間の相関関係にも着目し、分布変換ブロック（DTB）を提案した。アテンションベースの手法とは異なり、DTBは正規化の観点から変換を捉え、スケーリングおよびバイアス係数を用いて空間的相関とチャネルワイズ相関を統合的に考慮する。実験結果から、スケーリング因子が×4の場合、SHSRは最先端手法と比較して優れた定量的性能と視覚的品質を達成しつつ、パラメータ数を約34％削減し、MAC（Multiply-Accumulate Operations）を約50％削減した。さらに、追加の学習なしに性能を向上させるために、自己アンサンブルを導入した拡張モデルSHSR⁺を提案した。これにより、スケーリング因子×4において、より大きなネットワークと同等の性能を、パラメータ数を約92％、MACを約42％削減した状態で達成した。