Adversarial Background-Aware Loss für weakly-supervised Temporal Activity Localization

Die zeitliche Lokalisierung von Aktivitäten in ungeschnittenen Videos wurde in den letzten Jahren umfassend untersucht. Trotz neuerer Fortschritte haben bestehende Methoden zur schwach überwachten zeitlichen Aktivitätslokalisierung Schwierigkeiten, zu erkennen, wann eine Aktivität nicht auftritt. Um dieses Problem anzugehen, schlagen wir eine neuartige Methode namens A2CL-PT vor. In unserem Ansatz werden zwei Tripel des Merkmalsraums berücksichtigt: Ein Tripel dient dazu, diskriminative Merkmale für jede Aktivitätsklasse zu lernen, während das andere Tripel dazu dient, Merkmale, bei denen keine Aktivität stattfindet (d. h. Hintergrundmerkmale), von aktivi-tätsbezogenen Merkmalen für jedes Video zu unterscheiden. Um die Leistung weiter zu verbessern, bauen wir unser Netzwerk aus zwei parallelen Zweigen auf, die antagonistisch arbeiten: Der erste Zweig lokalisiert die auffälligsten Aktivitäten eines Videos, während der zweite Zweig zusätzliche, ergänzende Aktivitäten aus nicht lokalisierten Bereichen des Videos identifiziert. Umfangreiche Experimente auf den Datensätzen THUMOS14 und ActivityNet zeigen, dass unsere vorgeschlagene Methode wirksam ist. Insbesondere wird die durchschnittliche mAP bei IoU-Schwellenwerten von 0,1 bis 0,9 auf dem THUMOS14-Datensatz signifikant von 27,9 % auf 30,0 % verbessert.