TAP-WENDEL: Temporales Einheit-Regression-Netzwerk für temporale Aktionsvorschläge

Die Generierung von zeitlichen Aktionen (Temporal Action Proposal, TAP) ist ein wichtiges Problem, da die schnelle und genaue Extraktion semantisch relevanter Segmente (z. B. menschliche Aktionen) aus unbeschnittenen Videos einen wichtigen Schritt für die groß angelegte Videoanalyse darstellt. Wir schlagen ein neues Modell namens Temporal Unit Regression Network (TURN) vor. TURN zeichnet sich durch zwei wesentliche Aspekte aus: (1) TURN prognostiziert gemeinsam Aktionenvorschläge und verfeinert die zeitlichen Grenzen durch Regressionsanalyse der zeitlichen Koordinaten; (2) Durch die Wiederverwendung von Einheitsmerkmalen wird eine schnelle Berechnung ermöglicht: Ein langes unbeschnittenes Video wird in Videoeinheiten zerlegt, die als grundlegende Bausteine der zeitlichen Vorschläge wiederverwendet werden. TURN übertrifft die bislang besten Methoden bei durchschnittlicher Erinnerung (Average Recall, AR) um einen großen Marginal auf den Datensätzen THUMOS-14 und ActivityNet und erreicht eine Geschwindigkeit von mehr als 880 Bildern pro Sekunde (Frames per Second, FPS) auf einer TITAN X GPU. Des Weiteren wenden wir TURN als Vorschlagsgenerierungsstufe in bestehenden Pipelines zur lokalen Bestimmung zeitlicher Aktionen an, wobei es die bislang besten Leistungen auf THUMOS-14 und ActivityNet übertrifft.