FAR: Fourier Aerial Video Recognition

Wir präsentieren einen Algorithmus, Fourier Activity Recognition (FAR), für die Aktivitätsidentifikation in UAV-Videos. Unsere Formulierung nutzt eine neuartige Fourier-Objekt-Entkoppelungsmethode, um den menschlichen Agenten – der typischerweise klein ist – inhärent vom Hintergrund zu trennen. Unsere Entkoppelungstechnik arbeitet im Frequenzbereich, um das Ausmaß der zeitlichen Veränderung räumlicher Pixel zu charakterisieren, und nutzt die Faltung-Multiplikationseigenschaften der Fourier-Transformation, um diese Darstellung auf die entsprechenden objekt-hintergrund-verketteten Merkmale abzubilden, die aus dem Netzwerk stammen. Um kontextuelle Informationen und langreichweitige räumlich-zeitliche Abhängigkeiten zu erfassen, stellen wir einen neuartigen Fourier-Attention-Algorithmus vor, der die Vorteile der Selbst-Attention nachahmt, indem er das gewichtete äußere Produkt im Frequenzbereich modelliert. Unser Fourier-Attention-Formulierung erfordert deutlich weniger Berechnungen als die herkömmliche Selbst-Attention. Wir haben unseren Ansatz an mehreren UAV-Datensätzen evaluiert, darunter UAV Human RGB, UAV Human Night, Drone Action und NEC Drone. Wir zeigen eine relative Verbesserung der Top-1-Accuracy um 8,02 % bis 38,69 % und bis zu dreimal schnellere Ausführungsgeschwindigkeit im Vergleich zu vorherigen Arbeiten.