HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Multi-Region Two-Stream R-CNN für die Aktionsdetektion

{Cordelia Schmid Xiaojiang Peng}

Multi-Region Two-Stream R-CNN für die Aktionsdetektion

Abstract

Wir schlagen ein mehrregionales Zweistrom-R-CNN-Modell für die Aktionsdetektion in realistischen Videos vor. Ausgehend von der framebasierten Aktionsdetektion basierend auf Faster R-CNN [1] leisten wir drei Beiträge: (1) Wir zeigen, dass ein Bewegungsregionen-Vorschlagsnetzwerk hochwertige Vorschläge erzeugt, die sich ergänzend zu denen eines Erscheinungsregionen-Vorschlagsnetzwerks verhalten; (2) Wir belegen, dass das Stapeln von optischen Flüssen über mehrere Frames die framebasierte Aktionsdetektion erheblich verbessert; und (3) Wir integrieren ein Mehrregionen-Schema in das Faster R-CNN-Modell, welches ergänzende Informationen zu Körperpartien bereitstellt. Anschließend verknüpfen wir die framebasierten Detektionsergebnisse mittels des Viterbi-Algorithmus und lokalisieren die Aktion zeitlich mittels der Methode des maximalen Teilarrays. Experimentelle Ergebnisse auf den Aktionsdetektionsdatensätzen UCF-Sports, J-HMDB und UCF101 zeigen, dass unser Ansatz sowohl in Bezug auf frame-mAP als auch auf video-mAP die bisherigen State-of-the-Art-Methoden mit signifikantem Abstand übertrifft.

Benchmarks

BenchmarkMethodikMetriken
action-detection-on-j-hmdbMR-TS R-CNN
Frame-mAP 0.5: 58.5
Video-mAP 0.2: 74.3
Video-mAP 0.5: 73.09
action-detection-on-j-hmdbTS R-CNN
Frame-mAP 0.5: 56.9
Video-mAP 0.2: 71.1
Video-mAP 0.5: 70.6
action-detection-on-ucf-sportsMR-TS R-CNN
Frame-mAP 0.5: 84.52
Video-mAP 0.2: 94.83
Video-mAP 0.5: 94.67
action-detection-on-ucf-sportsTS R-CNN
Frame-mAP 0.5: 82.30
Video-mAP 0.2: 94.82
Video-mAP 0.5: 94.82
action-detection-on-ucf101-24MR-TS R-CNN
Frame-mAP 0.5: 39.63
action-detection-on-ucf101-24TS R-CNN
Frame-mAP 0.5: 39.94
action-recognition-in-videos-on-ucf101MR Two-Sream R-CNN
3-fold Accuracy: 91.1
skeleton-based-action-recognition-on-j-hmdbMR Two-Sream R-CNN
Accuracy (RGB+pose): 71.1

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Region Two-Stream R-CNN für die Aktionsdetektion | Forschungsarbeiten | HyperAI