2ヶ月前

Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization サイクル-SUM:非監督動画要約のためのサイクル一貫性敵対LSTMネットワーク

Li Yuan; Francis EH Tay; Ping Li; Li Zhou; Jiashi Feng
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
サイクル-SUM:非監督動画要約のためのサイクル一貫性敵対LSTMネットワーク
要約

本論文では、手動アノテーションを必要としない新しい非監督ビデオサマリゼーションモデルを提案します。提案されたモデルであるCycle-SUMは、情報の保存とサマリビデオのコンパクトさを効果的に最大化する新しいサイクル一貫型敵対LSTMアーキテクチャを採用しています。このモデルはフレーム選択器とサイクル一貫型学習に基づく評価器から構成されています。選択器は双方向LSTMネットワークで、ビデオフレーム間の長期的な関係性を埋め込んだビデオ表現を学習します。評価器は元のビデオとサマリビデオ間の学習可能な情報保存指標を定義し、「監督」して選択器が最も情報量の多いフレームを選別し、サマリビデオを形成することを促します。特に、評価器は2つの生成敵対ネットワーク(GANs)から構成されており、順方向GANはサマリビデオから元のビデオを再構築するために学習され、逆方向GANは処理を逆転するために学習されます。このようなサイクル学習の出力間の一貫性が、ビデオサマリゼーションにおける情報保存指標として採用されています。私たちは相互情報最大化とこのサイクル学習プロセスとの密接な関連性を示しています。2つのビデオサマリゼーションベンチマークデータセットでの実験により、Cycle-SUMモデルが最先端の性能を持ち、従来のベースラインに対して優れていることが確認されました。

Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization サイクル-SUM:非監督動画要約のためのサイクル一貫性敵対LSTMネットワーク | 最新論文 | HyperAI超神経