HyperAIHyperAI

Command Palette

Search for a command to run...

SMART-Frame-Auswahl für die Aktionserkennung

Shreyank N Gowda Marcus Rohrbach Laura Sevilla-Lara

Zusammenfassung

Die Aktionserkennung ist rechenintensiv. In diesem Paper behandeln wir das Problem der Frame-Auswahl, um die Genauigkeit der Aktionserkennung zu verbessern. Insbesondere zeigen wir, dass die Auswahl guter Frames bereits im Bereich von kurzen, trimmten Videos die Leistung der Aktionserkennung steigern kann. Neuere Arbeiten haben erfolgreich die Frame-Auswahl für lange, untrimmte Videos eingesetzt, bei denen ein erheblicher Teil des Inhalts irrelevant ist und leicht weggelassen werden kann. In dieser Arbeit konzentrieren wir uns jedoch auf das etablierte, kürzere und trimmte Problem der Aktionserkennung. Wir argumentieren, dass eine gute Frame-Auswahl nicht nur die rechnerischen Kosten der Aktionserkennung reduzieren, sondern auch die Genauigkeit erhöhen kann, indem sie Frames ausschließt, die schwer zu klassifizieren sind. Im Gegensatz zu früheren Ansätzen schlagen wir eine Methode vor, die Frame nicht einzeln, sondern gemeinsam auswählt. Dies führt zu einer effizienteren Auswahl, bei der gute Frames besser über das Video verteilt sind – vergleichbar mit Fotos, die eine Geschichte erzählen. Wir bezeichnen die vorgeschlagene Frame-Auswahl als SMART und testen sie in Kombination mit verschiedenen Backbone-Architekturen sowie auf mehreren Benchmarks (Kinetics, Something-something, UCF101). Wir zeigen, dass die SMART-Frame-Auswahl im Vergleich zu anderen Strategien die Genauigkeit konsistent verbessert und gleichzeitig die rechnerischen Kosten um den Faktor 4 bis 10 reduziert. Darüber hinaus zeigen wir, dass unsere Auswahlstrategie, wenn die primäre Zielsetzung die Erreichung höchster Erkennungsleistung ist, gegenüber jüngsten state-of-the-art-Modellen und Frame-Auswahlstrategien auf verschiedenen Benchmarks (UCF101, HMDB51, FCVID und ActivityNet) Verbesserungen erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp