単一画像からのリフレクション除去における段階的リファインメント

ガラス表面を介して撮影された単一画像から望ましくない反射を除去する問題に取り組む。これは、画像強調において実用的に重要であるが、定式化が不適切（ill-posed）で、極めて困難な課題である。社会ネットワークにおける隠れたコミュニティ検出における反復的構造低減のアプローチに着想を得て、反射除去のためのカスケード予測を可能にする「反復ブースト畳み込みLSTMネットワーク（Iterative Boost Convolutional LSTM Network, IBCLN）」を提案する。IBCLNは、透過層と反射層の推定値を反復的に精緻化するカスケード構造のネットワークであり、両層が互いに予測精度を向上させる相互補完的な関係にある。また、LSTMを用いてカスケードステップ間の情報を伝達することで、情報の損失を抑制する。本手法の直感的な根拠は、透過層が強固で支配的な構造であり、反射層は弱く隠れた構造であるということである。単一画像内では両者が補完的であり、元画像から一方の層のより良い推定と低減が行われれば、他方の層の推定精度も向上する。複数のカスケードステップにわたる学習を促進するために、LSTMを用いて勾配消失問題を緩和し、さらに残差再構成損失（residual reconstruction loss）を提案することで、学習の精度を向上させる。また、データ不足の問題を緩和するため、実世界の画像とその真値となる透過層を含むデータセットを構築した。広範な実験により、従来の最先端手法と比較して、本手法が実画像および合成画像の両方において反射の効果的な除去を実現できることを示した。