HyperAIHyperAI

Command Palette

Search for a command to run...

ProPainter:動画インペイントにおける伝播とTransformerの改善

Shangchen Zhou Chongyi Li Kelvin C.K. Chan Chen Change Loy

概要

動的推移に基づく伝搬(Flow-based propagation)と時空間変換器(spatiotemporal Transformer)は、動画補間(Video Inpainting, VI)における主流の2つのメカニズムである。これらのコンポーネントは高い有効性を示すものの、依然として性能に影響を与えるいくつかの制約を抱えている。従来の伝搬ベースの手法は、画像領域または特徴領域のいずれかで別々に処理が行われていた。画像領域でのグローバルな伝搬は、光学フローの精度に依存するため、学習とは独立して行われることで空間的な整合性のずれが生じる可能性がある。さらに、メモリや計算資源の制約により、特徴伝搬および動画変換器の時間的範囲が限定され、遠方のフレーム間の対応関係を十分に活用できていない。こうした課題に対処するため、本研究では、改良されたフレームワークであるProPainterを提案する。本手法は、強化された伝搬機構と効率的な変換器を組み合わせたものである。具体的には、画像と特徴のワーピングの利点を統合した「二領域伝搬(dual-domain propagation)」を導入し、信頼性の高いグローバルな対応関係を活用する。また、マスクを用いたスパースな動画変換器を提案することで、不要かつ重複するトークンを削除し、高い処理効率を実現した。これらの機構を統合したProPainterは、従来手法と比較してPSNRで1.46 dBの顕著な性能向上を達成しつつ、優れた効率性を維持している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています