HyperAIHyperAI

Command Palette

Search for a command to run...

参照生成を用いたフローガイド動画修復の向上

Suhwan Cho Seoung Wug Oh Sangyoun Lee Joon-Young Lee

概要

ビデオインペイント(VI)は、観測可能なコンテンツをフレーム間で効果的に伝播させながら、元のビデオに存在しない新しいコンテンツを同時に生成するという課題を伴う困難なタスクです。本研究では、大規模な生成モデルと先進的なピクセル伝播アルゴリズムを組み合わせた堅牢かつ実用的なVIフレームワークを提案します。強力な生成モデルにより、当手法は物体除去のフレームレベルの品質を大幅に向上させるだけでなく、ユーザーが提供したテキストプロンプトに基づいて欠損領域に新しいコンテンツを合成することもできます。ピクセル伝播については、反復サンプリングによる誤差蓄積を効果的に回避しつつサブピクセル精度を維持する一発ピクセル引き込み法(one-shot pixel pulling method)を導入しました。現実的なシナリオでの様々なVI手法の評価のために、アルファマット合成を使用して慎重に生成されたビデオから構成される高品質なVIベンチマークHQVIも提案しています。公開ベンチマークおよびHQVIデータセットにおいて、当手法は既存のソリューションと比較して著しく高い視覚的品質と指標スコアを示しており、さらに2K以上の解像度を持つ高解像度ビデオも容易に処理できることから、実世界アプリケーションにおける優位性が際立っています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています