Temporales Kontextnetzwerk für die Aktivitätslokalisation in Videos

Wir präsentieren ein Temporales Kontextnetzwerk (Temporal Context Network, TCN) zur genauen zeitlichen Lokalisierung menschlicher Aktivitäten. Ähnlich wie bei der Architektur von Faster-RCNN werden Vorschläge in einem Video in gleichen Abständen platziert, die mehrere zeitliche Skalen umfassen. Wir schlagen eine neue Darstellung für die Rangfolge dieser Vorschläge vor. Da das Pooling von Merkmalen nur innerhalb eines Segments nicht ausreicht, um Aktivitätsgrenzen vorherzusagen, konstruieren wir eine Darstellung, die den Kontext um einen Vorschlag explizit erfasst, um ihn zu bewerten. Für jeden zeitlichen Segment innerhalb eines Vorschlags werden Merkmale an einem Paar von Skalen gleichmäßig abgetastet und als Eingabe in ein temporales Faltungsneuronales Netzwerk (temporal convolutional neural network) für die Klassifizierung verwendet. Nach der Rangfolge der Vorschläge wird Non-Maximum-Suppression angewendet und die Klassifizierung durchgeführt, um die endgültigen Erkennungen zu erhalten. TCN übertrifft die aktuellen Standesder Technik-Methoden auf dem ActivityNet-Datensatz und dem THUMOS14-Datensatz.