Aktionsspezifische Inkonsequenz-gesteuerte kontrastive Lernmethode für die schwach beschriftete zeitliche Aktionslokalisierung

Schwach beschriftete zeitliche Aktionslokalisierung (Weakly-supervised Temporal Action Localization, WTAL) zielt darauf ab, Aktionsinstanzen zu detektieren, wenn lediglich videobasierte Labels zur Verfügung stehen. Um diese Herausforderung anzugehen, verwenden aktuelle Methoden häufig einen zweigeteilten Ansatz, bestehend aus einem klassenbewussten Zweig und einem klassenunabhängigen Zweig. Grundsätzlich sollen die beiden Zweige jeweils die gleiche Aktionsaktivierung erzeugen. Wir beobachten jedoch, dass es tatsächlich zahlreiche inkonsistente Aktivierungsregionen gibt, die typischerweise schwierige Segmente enthalten, deren semantische Information (Aktions- oder Hintergrundinformation) mehrdeutig ist. In dieser Arbeit stellen wir eine neuartige Methode namens Actionness Inconsistency-guided Contrastive Learning (AICL) vor, die konsistente Segmente nutzt, um die Repräsentationslernung inkonsistenter Segmente zu verbessern. Konkret definieren wir zunächst konsistente und inkonsistente Segmente durch Vergleich der Vorhersagen der beiden Zweige und erstellen anschließend positive und negative Paare zwischen konsistenten und inkonsistenten Segmenten für den kontrastiven Lernprozess. Darüber hinaus führen wir eine Aktionskonsistenzbedingung ein, um den triviale Fall zu vermeiden, dass überhaupt keine konsistenten Beispiele vorhanden sind, und steuern damit die Differenz zwischen den beiden Zweigen. Wir führen umfangreiche Experimente auf den Datensätzen THUMOS14, ActivityNet v1.2 und ActivityNet v1.3 durch, und die Ergebnisse belegen die Wirksamkeit von AICL mit state-of-the-art Leistung. Unser Quellcode ist unter https://github.com/lizhilin-ustc/AAAI2023-AICL verfügbar.