ProPainter：動画インペイントにおける伝播とTransformerの改善

動的推移に基づく伝搬（Flow-based propagation）と時空間変換器（spatiotemporal Transformer）は、動画補間（Video Inpainting, VI）における主流の2つのメカニズムである。これらのコンポーネントは高い有効性を示すものの、依然として性能に影響を与えるいくつかの制約を抱えている。従来の伝搬ベースの手法は、画像領域または特徴領域のいずれかで別々に処理が行われていた。画像領域でのグローバルな伝搬は、光学フローの精度に依存するため、学習とは独立して行われることで空間的な整合性のずれが生じる可能性がある。さらに、メモリや計算資源の制約により、特徴伝搬および動画変換器の時間的範囲が限定され、遠方のフレーム間の対応関係を十分に活用できていない。こうした課題に対処するため、本研究では、改良されたフレームワークであるProPainterを提案する。本手法は、強化された伝搬機構と効率的な変換器を組み合わせたものである。具体的には、画像と特徴のワーピングの利点を統合した「二領域伝搬（dual-domain propagation）」を導入し、信頼性の高いグローバルな対応関係を活用する。また、マスクを用いたスパースな動画変換器を提案することで、不要かつ重複するトークンを削除し、高い処理効率を実現した。これらの機構を統合したProPainterは、従来手法と比較してPSNRで1.46 dBの顕著な性能向上を達成しつつ、優れた効率性を維持している。