TACNet: Übergangs-bewusstes Kontextnetzwerk für die räumlich-zeitliche Aktionserkennung

Der aktuelle Stand der Technik bei der räumlich-zeitlichen Aktionsdetektion hat beeindruckende Ergebnisse erzielt, bleibt jedoch bei der zeitlichen Bereichsdetektion unbefriedigend. Der Hauptgrund dafür liegt darin, dass es einige unspezifische Zustände gibt, die den echten Aktionen sehr ähnlich sind und selbst von einem gut trainierten Netzwerk als Zielaktionen betrachtet werden können. In dieser Arbeit definieren wir diese unspezifischen Beispiele als "Übergangszustände" und schlagen ein Übergangs-bewusstes Kontextnetzwerk (TACNet) vor, um Übergangszustände zu unterscheiden. Das vorgeschlagene TACNet besteht aus zwei Hauptkomponenten, nämlich dem zeitlichen Kontextdetektor und dem übergangs-bewussten Klassifikator. Der zeitliche Kontextdetektor kann langfristige Kontextinformationen mit konstanter Zeitkomplexität extrahieren, indem er ein rekurrentes Netzwerk aufbaut. Der übergangs-bewusste Klassifikator kann Übergangszustände durch gleichzeitiges Klassifizieren von Aktionen und Übergangszuständen weiter unterscheiden. Daher kann das vorgeschlagene TACNet die Leistung der räumlich-zeitlichen Aktionsdetektion erheblich verbessern. Wir evaluieren das vorgeschlagene TACNet umfassend anhand der Datensätze UCF101-24 und J-HMDB. Die experimentellen Ergebnisse zeigen, dass TACNet wettbewerbsfähige Leistungen auf J-HMDB erzielt und die Stand-der-Technik-Methoden auf dem ungeschnittenen UCF101-24 sowohl in Bezug auf Frame-mAP als auch Video-mAP deutlich übertrifft.