HyperAIHyperAI

Command Palette

Search for a command to run...

動画のインペイント用の同時空間-時間変換の学習

Yanhong Zeng; Jianlong Fu; Hongyang Chao

概要

高品質なビデオインペイントは、ビデオフレーム内の欠損領域を補完する有望だが困難な課題である。最先端の手法では、注意モデルを採用し、参照フレームから欠損コンテンツを探して1つのフレームを補完し、さらに1フレームずつ全体のビデオを完成させる。しかし、これらの手法は空間次元と時間次元にわたる一貫性のない注意結果に悩まされることがあり、しばしばビデオにおいてぼけや時間的なアーティファクトが発生する。本論文では、ビデオインペイントのために空間・時間変換器ネットワーク(STTN: Spatial-Temporal Transformer Network)の共同学習を提案する。具体的には、自己注意によってすべての入力フレームの欠損領域を同時に埋めることを目指し、STTNの最適化には空間・時間敵対的損失を使用することを提案する。提案モデルの優位性を示すために、標準的な静止マスクとより現実的な動的物体マスクを使用して定量評価と定性評価を行った。デモビデオは https://github.com/researchmm/STTN で利用可能である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
動画のインペイント用の同時空間-時間変換の学習 | 記事 | HyperAI超神経