Ein schrittweiser, labelbasierter Ansatz zur Verbesserung des adversarialen Trainings in unsupervised Video-Zusammenfassung

In diesem Artikel präsentieren wir unsere Arbeit zur Verbesserung der Effizienz des adversarialen Trainings für die unsupervised Video-Summarisierung. Ausgangspunkt unserer Betrachtung ist das SUM-GAN-Modell, das auf der Intuition basiert, dass eine repräsentative Zusammenfassung es ermöglichen sollte, ein Video wiederherzustellen, das vom Original nicht unterscheidbar ist. Wir bauen auf einer öffentlich verfügbaren Implementierung einer Variante dieses Modells auf, die eine lineare Kompressions-Schicht zur Reduktion der Anzahl der zu lernenden Parameter verwendet und einen inkrementellen Ansatz für das Training der verschiedenen Architekturkomponenten anwendet. Nach der Bewertung des Einflusses dieser Änderungen auf die Modellleistung schlagen wir einen schrittweisen, labelbasierten Lernprozess vor, um die Trainingseffizienz des adversarialen Teils des Modells zu verbessern. Bevor wir die Effizienz unseres Modells evaluieren, führen wir eine gründliche Studie bezüglich der verwendeten Evaluationsprotokolle durch und untersuchen die mögliche Leistungsfähigkeit auf zwei Benchmark-Datensätzen, nämlich SumMe und TVSum. Experimentelle Bewertungen und Vergleiche mit dem Stand der Technik unterstreichen die Wettbewerbsfähigkeit des vorgeschlagenen Ansatzes. Eine Ablationstudie zeigt den Nutzen jeder einzelnen vorgenommenen Änderung für die Modellleistung und hebt die vorteilhafte Rolle der eingeführten schrittweisen, labelbasierten Trainingsstrategie für die Lerneffizienz des adversarialen Teils der Architektur hervor.