HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchisches Selbst-Attention-Netzwerk für die Aktionslokalisierung in Videos

Wen-Hsien Fang Yie-Tarng Chen Rizard Renanda Adhi Pramono

Zusammenfassung

Diese Arbeit präsentiert ein neuartiges hierarchisches Selbst-Attention-Netzwerk (HISAN), das zur Generierung von räumlich-zeitlichen Tuben für die Aktionslokalisierung in Videos eingesetzt wird. Der Kerngedanke von HISAN besteht darin, das zweistromige convolutionale Neuronale Netzwerk (CNN) mit einem hierarchischen bidirektionalen Selbst-Attention-Mechanismus zu kombinieren, der zwei Ebenen bidirektionaler Selbst-Attention umfasst und somit sowohl langfristige zeitliche Abhängigkeiten als auch räumliche Kontextinformationen effizient erfassen kann, um eine präzisere Aktionslokalisierung zu ermöglichen. Zudem wird ein Algorithmus zur Sequenzneubewertung (Sequence Rescoring, SR) eingesetzt, um das Problem unkonsequenter Detektionswerte zu lösen, das durch Verdeckung oder Hintergrundstörungen verursacht wird. Darüber hinaus wird ein neues Fusionsverfahren vorgeschlagen, das nicht nur die Erscheinungs- und Bewegungsinformationen aus dem zweistromigen Netzwerk, sondern auch die Bewegungssalienz integriert, um die Auswirkungen von Kamerabewegungen zu reduzieren. Simulationen zeigen, dass der vorgeschlagene Ansatz auf den weit verbreiteten Datensätzen UCF101-24 und J-HMDB eine konkurrenzfähige Leistung im Vergleich zu aktuellen Spitzenverfahren hinsichtlich Genauigkeit der Aktionslokalisierung und -erkennung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp