画像のぼかし除去における周波数選択の興味深い発見

ぼやけの解析は、ぼやけた画像が与えられたもとで、潜在的なシャープな画像とぼかしカーネルを推定することで、自然に周波数領域で行われる。近年の画像のぼかし除去に関する研究は、常にエンドツーエンドのアーキテクチャを設計し、ピクセルレベルでのぼけ画像とシャープ画像の差分を学習することを目指しているが、これによりぼかしカーネルの重要性が無視されがちである。本論文では、ぼけ画像の周波数領域に単純にReLU演算を適用し、その後逆フーリエ変換を行う、すなわち周波数選択を行うことで、ぼけのパターン（例えばぼけの方向やぼけの程度）に関する忠実な情報が得られることを明らかにした。この観察に基づき、標準的なResBlockにフーリエ変換、ReLU演算、逆フーリエ変換を挿入することで、カーネルレベルの情報を画像のぼかし除去ネットワークに活用することを試みた。さらに、1×1畳み込みを追加することで、ネットワークが周波数選択に柔軟な閾値を調節できるようにした。本研究で提案する新規ブロックを「Res FFT-ReLU Block」と呼び、周波数-空間の二重領域表現を学習することで、カーネルレベルとピクセルレベルの両方の特徴を活用する。本手法の洞察を包括的に評価するため、広範な実験を実施した。また、提案ブロックをNAFNetに組み込むことで、GoProデータセットにおいてPSNRが33.85 dBまで向上した。本手法は、多くのパラメータを追加せずにバックボーンアーキテクチャを顕著に改善しつつ、計算量の低さを維持している。コードは https://github.com/DeepMed-Lab/DeepRFT-AAAI2023 で公開されている。