HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Hierarchisches Selbst-Attention-Netzwerk für die Aktionslokalisierung in Videos

{ Wen-Hsien Fang Yie-Tarng Chen Rizard Renanda Adhi Pramono}

Hierarchisches Selbst-Attention-Netzwerk für die Aktionslokalisierung in Videos

Abstract

Diese Arbeit präsentiert ein neuartiges hierarchisches Selbst-Attention-Netzwerk (HISAN), das zur Generierung von räumlich-zeitlichen Tuben für die Aktionslokalisierung in Videos eingesetzt wird. Der Kerngedanke von HISAN besteht darin, das zweistromige convolutionale Neuronale Netzwerk (CNN) mit einem hierarchischen bidirektionalen Selbst-Attention-Mechanismus zu kombinieren, der zwei Ebenen bidirektionaler Selbst-Attention umfasst und somit sowohl langfristige zeitliche Abhängigkeiten als auch räumliche Kontextinformationen effizient erfassen kann, um eine präzisere Aktionslokalisierung zu ermöglichen. Zudem wird ein Algorithmus zur Sequenzneubewertung (Sequence Rescoring, SR) eingesetzt, um das Problem unkonsequenter Detektionswerte zu lösen, das durch Verdeckung oder Hintergrundstörungen verursacht wird. Darüber hinaus wird ein neues Fusionsverfahren vorgeschlagen, das nicht nur die Erscheinungs- und Bewegungsinformationen aus dem zweistromigen Netzwerk, sondern auch die Bewegungssalienz integriert, um die Auswirkungen von Kamerabewegungen zu reduzieren. Simulationen zeigen, dass der vorgeschlagene Ansatz auf den weit verbreiteten Datensätzen UCF101-24 und J-HMDB eine konkurrenzfähige Leistung im Vergleich zu aktuellen Spitzenverfahren hinsichtlich Genauigkeit der Aktionslokalisierung und -erkennung erzielt.

Benchmarks

BenchmarkMethodikMetriken
action-detection-on-j-hmdbHISAN (VGG-16)
Frame-mAP 0.5: 76.72
Video-mAP 0.2: 85.97
Video-mAP 0.5: 84.02
action-detection-on-j-hmdbHISAN (ResNet-101 + FPN)
Video-mAP 0.2: 87.59
Video-mAP 0.5: 86.49
action-detection-on-ucf101-24HISAN (ResNet-101 + FPN)
Video-mAP 0.2: 82.30
Video-mAP 0.5: 51.47
action-detection-on-ucf101-24HISAN (VGG-16)
Frame-mAP 0.5: 73.71
Video-mAP 0.2: 80.42
Video-mAP 0.5: 49.50

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Hierarchisches Selbst-Attention-Netzwerk für die Aktionslokalisierung in Videos | Forschungsarbeiten | HyperAI