相互強化されたステレオ画像の超解像と視差推定のためのフィードバックネットワーク

ステレオ設定下では、画像の超解像（SR）と視差推定の問題が相互に関連しており、それぞれの問題の結果が他方を解決するのに役立つ可能性があります。異なる視点間での対応関係の効果的な利用はSR性能を向上させ、一方で高解像度（HR）特徴量が豊富な詳細を持つことで対応関係の推定に貢献します。この動機に基づき、我々はステレオ超解像と視差推定フィードバックネットワーク（Stereo Super-Resolution and Disparity Estimation Feedback Network: SSRDE-FNet）を提案します。このネットワークは統一されたフレームワークでステレオ画像の超解像と視差推定を同時に処理し、両者が互いに作用しあうことで性能をさらに向上させます。具体的には、SSRDE-FNetは左視点と右視点用の2つの双方向再帰サブネットワークから構成されています。低解像度（LR）空間でのクロスビュー情報活用に加え、SRプロセスによって生成されたHR表現を利用することで、より正確なHR視差推定を行い、その結果として得られたHR特徴量を集約してより精細なSR結果を生成します。その後、提案したHR視差情報フィードバック（High-Resolution Disparity Information Feedback: HRDIF）機構により、HR視差が持つ情報を前層に戻してSR画像再構築をさらに洗練化します。広範な実験により、SSRDE-FNetの有効性と先進性が示されています。