12日前

AC-SUM-GAN:教師なし動画要約のためのアクターキリティックと生成的対抗ネットワークの連携

{Ioannis Patras, Vasileios Mezaris, Alexandros I. Metsai, Eleni Adamantidou, Evlampios Apostolidis}
要約

本稿では、教師なし動画要約のための新たな手法を提案する。提案するアーキテクチャは、Actor-Criticモデルを生成対抗ネットワーク(Generative Adversarial Network, GAN)に組み込み、要約に用いる重要な動画断片の選択を、シーケンス生成タスクとして定式化している。ActorとCriticは、逐次的に動画のキーフラグメントの選択に導くゲームに参加し、各ステップにおけるその選択は、ディスクリミネータ(Discriminator)から得られる報酬として反映される。設計された学習ワークフローにより、ActorとCriticは行動空間を探索し、キーフラグメント選択のためのポリシーを自動的に学習できる。さらに、学習終了後に最適なモデルを選定するための評価基準を導入することで、データから学習されないパラメータ(たとえば正則化係数σ)の適切な値を自動的に選定することが可能となる。SumMeおよびTVSumの2つのベンチマークデータセットにおける実験評価により、提案モデルであるAC-SUM-GANが、教師なし手法としては一貫して優れた性能を発揮し、さらに教師あり手法と比較しても競争力のある結果を達成することが示された。

AC-SUM-GAN:教師なし動画要約のためのアクターキリティックと生成的対抗ネットワークの連携 | 最新論文 | HyperAI超神経