Temporale Faltungssnetze: Ein einheitlicher Ansatz zur Aktionssegmentierung

Das vorherrschende Paradigma für die videosbasierte Aktionssegmentierung besteht aus zwei Schritten: Erstens wird für jedes Bildfeld mithilfe von Dense Trajectories oder einem Faltungsneuronalen Netzwerk (Convolutional Neural Network) niedrigstufige Merkmale berechnet, die lokal räumlich-zeitliche Informationen kodieren. Zweitens werden diese Merkmale in einen Klassifikator eingegeben, der hochstufige zeitliche Beziehungen erfasst, wie zum Beispiel ein Rekurrentes Neuronales Netzwerk (Recurrent Neural Network, RNN). Obwohl dieses Verfahren oft effektiv ist, erfordert die Trennung die Spezifizierung von zwei getrennten Modellen, jeweils mit ihren eigenen Komplexitäten, und verhindert das Erfassen feinerer langreichweitiger räumlich-zeitlicher Beziehungen. Wir schlagen einen vereinten Ansatz vor, wie er durch unser Zeitliches Faltungsnetzwerk (Temporal Convolutional Network, TCN) demonstriert wird, das hierarchisch Beziehungen auf niedrig-, mittel- und hochstufigen Zeitskalen erfasst. Unser Modell erreicht überlegene oder vergleichbare Leistungen bei der Nutzung von Video- oder Sensordaten auf drei öffentlichen Aktionssegmentierungsdatensätzen und kann in einem Bruchteil der Zeit trainiert werden, die für das Training eines RNN erforderlich ist.