Command Palette
Search for a command to run...
Lange zeitliche Faltungen für die Aktionserkennung
Lange zeitliche Faltungen für die Aktionserkennung
Gül Varol Ivan Laptev Cordelia Schmid
Zusammenfassung
Typische menschliche Aktionen dauern mehrere Sekunden und weisen eine charakteristische räumlich-zeitliche Struktur auf. Neueste Methoden versuchen, diese Struktur zu erfassen und Aktionen mit Faltungsneuronalen Netzen (Convolutional Neural Networks, CNN) darzustellen. Solche Darstellungen werden jedoch in der Regel nur auf der Ebene von wenigen Videobildern gelernt und modellieren die Aktionen nicht in ihrer vollen zeitlichen Ausdehnung. In dieser Arbeit lernen wir Videodarstellungen unter Verwendung von neuronalen Netzen mit langfristigen zeitlichen Faltungen (Long-Term Temporal Convolutions, LTC). Wir zeigen, dass LTC-CNN-Modelle mit erweiterter zeitlicher Ausdehnung die Genauigkeit der Aktionserkennung verbessern. Zudem untersuchen wir den Einfluss verschiedener Niedrig-Level-Darstellungen, wie zum Beispiel rohe Werte von Videopixeln und optische Flussvektorfelder, und demonstrieren die Bedeutung einer hochwertigen optischen Flussschätzung für das Lernen präziser Aktionenmodelle. Wir berichten über Stand-der-Kunst-Ergebnisse auf zwei anspruchsvollen Benchmarks für die Erkennung menschlicher Aktionen: UCF101 (92,7 %) und HMDB51 (67,2 %).