BurstM: フーリエ空間と光学フローを用いた深層多尺度SR

マルチフレームスーパーレゾリューション（MFSR）は、単一画像スーパーレゾリューション（SISR）よりも高い性能を達成します。これは、MFSRが複数のフレームから豊富な情報を活用するためです。最近のMFSR手法では、デフォーマブル畳み込みネットワーク（DCN）を用いてフレームのアライメントを行っています。しかし、既存のMFSRはDCNの制約（受容野の小ささやカーネル数の事前定義など）により、参照フレームとソースフレーム間での誤アライメントに悩まされています。これらの問題から、既存のMFSR手法は高周波情報の表現に苦戦しています。これを解決するために、我々はフーリエ空間とオプティカルフローを使用したディープバーストマルチスケールSR（BurstM）を提案します。提案手法では、正確なアライメントのためにオプティカルフローのオフセットを推定し、各フレームにおける連続的なフーリエ係数を予測することで高周波テクスチャを表現します。さらに、ユニモデルで様々なスーパーレゾリューション（SR）倍率をサポートすることでネットワークの柔軟性を向上させました。我々は実験を通じて、提案手法が既存のMFSR手法よりも最高の性能と柔軟性を持つことを示しました。当該研究のソースコードはhttps://github.com/Egkang-Luis/burstm で公開されています。