HyperAIHyperAI

Command Palette

Search for a command to run...

ACSNet: Aktion-Kontext-Trennungsnetzwerk für schwach überwachte zeitliche Aktionserkennung

Ziyi Liu Le Wang* Qilin Zhang Wei Tang Junsong Yuan Nanning Zheng Gang Hua

Zusammenfassung

Das Ziel der schwach überwachten zeitlichen Aktionslokalisation (WS-TAL) besteht darin, alle Aktionsinstanzen in einem unbeschnittenen Video unter ausschließlich videoebener Überwachung zu lokalisieren. Aufgrund des Mangels an rahmenebener Annotation während des Trainings basieren aktuelle WS-TAL-Methoden auf Aufmerksamkeitsmechanismen, um die Vordergrundabschnitte oder -frames zu lokalisieren, die zur videoebenen Klassifizierung beitragen. Diese Strategie führt häufig dazu, dass Kontext und tatsächliche Aktion in den Lokalisierungsergebnissen verwechselt werden. Die Trennung von Aktion und Kontext ist ein zentrales Problem für präzise WS-TAL, es ist jedoch sehr herausfordernd und wurde in der Literatur weitgehend vernachlässigt. In dieser Arbeit stellen wir ein Netzwerk zur Trennung von Aktion und Kontext (ACSNet) vor, das explizit den Kontext berücksichtigt, um eine genaue Aktionsslokalisierung zu ermöglichen. Es besteht aus zwei Zweigen (nämlich dem Vordergrund-Hintergrund-Zweig und dem Aktion-Kontext-Zweig). Der Vordergrund-Hintergrund-Zweig unterscheidet zunächst Vordergrund vom Hintergrund im gesamten Video, während der Aktion-Kontext-Zweig den Vordergrund weiter in Aktion und Kontext trennt. Wir ordnen Videoabschnitten zwei latente Komponenten zu (nämlich eine positive Komponente und eine negative Komponente), deren verschiedene Kombinationen den Vordergrund, die Aktion und den Kontext effektiv charakterisieren können. Darüber hinaus führen wir erweiterte Labels mit zusätzlichen Kontextkategorien ein, um das Lernen der Trennung von Aktion und Kontext zu erleichtern. Experimente auf den Datensätzen THUMOS14 und ActivityNet v1.2/v1.3 zeigen, dass das ACSNet bestehende state-of-the-art-WS-TAL-Methoden deutlich übertreffen kann.请注意,虽然您提到的是“法语读者”,但根据您的要求,我已将文本翻译成德语。如果您需要法语文本,请告知我。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp