Command Palette

Search for a command to run...

4ヶ月前

注意行列駆動型対抗学習を用いた教師なし動画要約

{Ioannis Patras Vasileios Mezaris Alexandros I. Metsai Eleni Adamantidou Evlampios Apostolidis}

要約

本稿では、映像の重要な部分を特定するためにアテンション機構を統合した新たな動画要約手法を提案する。この手法は、生成対抗学習(Generative Adversarial Learning)を用いて教師なしで学習される。まず、SUM-GANモデルを出発点として、学習パラメータ数を大幅に削減し、モデル構成要素の段階的学習を可能にし、敵対的パートの更新に段階的ラベルベース戦略を適用する改良型モデル(SUM-GAN-sl)を構築した。次に、SUM-GAN-slにアテンション機構を2通りの方法で導入した:(i)アーキテクチャ内の変分自己符号化器(VAE)にアテンション層を統合する(SUM-GAN-VAAE)、および(ii)VAEを決定論的アテンション自己符号化器(Attention Auto-Encoder)に置き換える(SUM-GAN-AAE)。SumMeおよびTVSumの2つのデータセットを用いた実験評価により、アテンション自己符号化器がモデルの学習速度と安定性を向上させ、元のモデルと比較して顕著な性能向上を達成することが確認された。さらに、提案手法であるSUM-GAN-AAEは、最先端技術と比較しても競争力を持つことが示された。

ベンチマーク

ベンチマーク方法論指標
unsupervised-video-summarization-on-summeSUM-GAN-AAE
F1-score: 48.9
Parameters (M): 24.31
training time (s): 1639
unsupervised-video-summarization-on-tvsumSUM-GAN-AAE
F1-score: 58.3
Parameters (M): 24.31
training time (s): 5423

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
注意行列駆動型対抗学習を用いた教師なし動画要約 | 論文 | HyperAI超神経