学習された切断因果履歴モデルを用いたビデオ修復

ビデオ修復における主要な課題の一つは、動きによって支配されるビデオフレームの遷移動態をモデル化することである。本研究では、効率的かつ高性能なビデオ修復のために、切断された因果履歴モデルを学習するTURTLE（Truncated cUsual Recurrent Temporal Latent Enhancer）を提案する。従来の方法がコンテキストフレームの範囲を並列に処理するのに対し、TURTLEは入力フレームの潜在表現の切断された履歴を進化する履歴状態に保存および要約することで効率性を向上させる。これは、フレーム間の動きとアライメントを暗黙的に考慮する洗練された類似性に基づく検索メカニズムを通じて達成される。TURTLEにおける因果設計は、状態記憶型の履歴特徴量による推論の再帰性を可能にしつつ、切断されたビデオクリップのサンプリングにより並列訓練も許可している。我々は、ビデオ除雪、夜間ビデオ雨除去、ビデオリザード除去と雨筋除去、ビデオスーパー解像度化、実世界および合成ビデオぼかし除去、そして盲目的ビデノイズ除去など、多様なビデオ修復ベンチマークタスクにおいて新たな最先端結果を報告しており、これらのすべてのタスクで既存の最良のコンテキスト方法よりも計算コストを削減している。注：「TURTLE」は「Truncated cUsual Recurrent Temporal Latent Enhancer」（切断された通常再帰的時間潜在強化器）という略称です。