要約
我々は、重度に劣化した古い映画の修復を行うための学習ベースのフレームワーク、再帰変換ネットワーク（Recurrent Transformer Network: RTN）を提案します。単純なフレームごとの修復ではなく、隣接するフレームから得られる豊富な情報（遮蔽に関する情報を含む）を基にした隠れた知識を利用することで、各フレームの難易度の高いアーティファクトを修復しつつ、時間的な一貫性を確保することが可能となります。さらに、現在のフレームと隠れた知識の表現を対比することにより、教師なしでスクラッチ位置を推定することが可能となり、このような欠陥位置特定は実世界の劣化に対しても良好に汎化します。フレームアライメント時のフローエステーションエラーを補正し、複合的な劣化をより効果的に解消するために、空間的な修復に際してより表現力豊かなトランスフォーマーブロックを使用することを提案します。合成データセットおよび実世界の古い映画に対する実験結果は、提案されたRTNが既存の手法に対して著しい優位性を持つことを示しています。また、同じフレームワークを使用することで、キーフレームから全体のビデオへ色情報を効果的に伝播させることができ、最終的には魅力的な修復映画を得ることができます。本研究における実装とモデルは以下のURLで公開されます。https://github.com/raywzy/Bringing-Old-Films-Back-to-Life.