12日前

教師あり動画要約における敵対的訓練の改善のためのステップワイズかつラベルベースのアプローチ

{Ioannis Patras, Vasileios Mezaris, Eleni Adamantidou, Alexandros I. Metsai, Evlampios Apostolidis}
要約

本稿では、教師なし動画要約における敵対的学習の効率性を向上させるための取り組みを報告する。我々の出発点は、要約が元の動画と区別不能な再構成動画を生成できるという直感に基づくSUM-GANモデルである。本研究では、このモデルの変種を公開された実装に基づいて活用し、学習パラメータ数を削減するための線形圧縮層を導入するとともに、アーキテクチャの各構成要素に対して段階的(incremental)な学習アプローチを適用している。これらの変更がモデル性能に与える影響を評価した後、敵対的学習部の訓練効率を向上させるため、段階的かつラベルに基づく学習プロセスを提案する。モデルの効率性を評価する前に、使用する評価プロトコルについて包括的な検討を行い、SumMeおよびTVSumの2つのベンチマークデータセットにおける潜在的な性能を検証した。最先端手法との実験的比較により、提案手法の競争力が明確に示された。アブレーションスタディを通じて、各導入変更がモデル性能に与える効果が確認されるとともに、敵対的学習部の学習効率に有利な影響をもたらす、新しく導入した段階的・ラベルベースの学習戦略の有効性が明らかになった。

教師あり動画要約における敵対的訓練の改善のためのステップワイズかつラベルベースのアプローチ | 最新論文 | HyperAI超神経