HyperAIHyperAI

Command Palette

Search for a command to run...

Röhrenkonvolutionales Neuronales Netzwerk (T-CNN) für die Aktionserkennung in Videos

Rui Hou Chen Chen Mubarak Shah

Zusammenfassung

Tiefe Lernverfahren haben ausgezeichnete Ergebnisse bei der Bildklassifizierung und Objekterkennung erzielt. Allerdings war deren Einfluss auf die Videanalyse (z.B. Aktionserkennung und -detektion) wegen der Komplexität von Videodaten und dem Mangel an Annotationen begrenzt. Frühere Ansätze zur Aktionsdetektion in Videos, die auf Faltungsneuronalen Netzen (CNN) basieren, bestehen in der Regel aus zwei wesentlichen Schritten: der Detektion von Aktionsvorschlägen auf Bildschirmebene und der Verknüpfung dieser Vorschläge über mehrere Frames hinweg. Diese Methoden verwenden zudem ein zweistromiges CNN-Framework, um räumliche und zeitliche Merkmale getrennt zu verarbeiten. In dieser Arbeit schlagen wir ein end-to-end tiefes Netzwerk namens Tube Convolutional Neural Network (T-CNN) für die Aktionsdetektion in Videos vor. Die vorgeschlagene Architektur ist ein vereintes Netzwerk, das in der Lage ist, Aktionen basierend auf 3D-Faltungsmerkmalsdaten zu erkennen und zu lokalisieren. Ein Video wird zunächst in gleich lange Abschnitte unterteilt, und für jeden Abschnitt werden eine Reihe von Rohr-Vorschlägen (tube proposals) generiert, basierend auf den Merkmalen des 3D Convolutional Networks (ConvNet). Schließlich werden die Rohrvorschläge verschiedener Abschnitte mithilfe eines Netzwerkflusses verbunden, und die spatio-temporale Aktionsdetektion wird mit diesen verlinkten Video-Vorschlägen durchgeführt. Ausführliche Experimente mit mehreren Videodatensätzen zeigen die überlegene Leistungsfähigkeit des T-CNN bei der Klassifizierung und Lokalisierung von Aktionen sowohl in gekürzten als auch ungeschnittenen Videos im Vergleich zu den aktuellen Stand der Technik.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp