Timeception für die Erkennung komplexer Aktionen

Dieses Papier konzentriert sich auf den zeitlichen Aspekt bei der Erkennung menschlicher Aktivitäten in Videos; ein wichtiger visueller Hinweis, der lange Zeit unterschätzt wurde. Wir überarbeiten die herkömmliche Definition von Aktivität und beschränken sie auf komplexe Aktionen: eine Reihe von Einzelaktionen mit einem schwachen zeitlichen Muster, das einen bestimmten Zweck erfüllt.Verwandte Arbeiten verwenden räumlich-zeitliche 3D-Faltungen (spatiotemporal 3D convolutions) mit fester Kerngröße, die zu starr sind, um die Vielfalt der zeitlichen Ausdehnungen komplexer Aktionen zu erfassen, und zu kurz für langfristige zeitliche Modellierung. Im Gegensatz dazu nutzen wir mehrskalige zeitliche Faltungen und reduzieren die Komplexität der 3D-Faltungen. Das Ergebnis sind Timeception-Faltungsschichten, die über Minuten hinweg zeitliche Muster analysieren können – ein Faktor von 8 länger als die besten vergleichbaren Arbeiten.Dadurch erreicht Timeception beeindruckende Genauigkeit bei der Erkennung menschlicher Aktivitäten in Charades, Breakfast Actions und MultiTHUMOS. Darüber hinaus zeigen wir, dass Timeception langfristige zeitliche Abhängigkeiten lernt und die zeitlichen Ausdehnungen komplexer Aktionen toleriert.