Verbesserung der zeitlichen Aktionslokalisierung: Fortgeschrittene S6-Modellierung mit rekurrentem Mechanismus

Die zeitliche Aktionsspezifizierung (Temporal Action Localization, TAL) ist eine zentrale Aufgabe in der Videanalyse, bei der präzise Start- und Endzeiten von Aktionen identifiziert werden müssen. Bestehende Methoden wie CNNs, RNNs, GCNs und Transformers weisen Einschränkungen hinsichtlich der Erfassung von langreichweitigen Abhängigkeiten und zeitlicher Kausalität auf. Um diesen Herausforderungen zu begegnen, schlagen wir eine neuartige TAL-Architektur vor, die auf dem Selective State Space Model (S6) basiert. Unser Ansatz integriert den Feature Aggregated Bi-S6-Block, die Dual Bi-S6-Struktur sowie einen rekurrenten Mechanismus, um die Modellierung zeitlicher und kanalweiser Abhängigkeiten zu verbessern, ohne die Parameterkomplexität zu erhöhen. Umfangreiche Experimente auf Benchmark-Datensätzen erbringen Ergebnisse auf State-of-the-Art-Niveau mit mAP-Werten von 74,2 % auf THUMOS-14, 42,9 % auf ActivityNet, 29,6 % auf FineAction und 45,8 % auf HACS. Ablation-Studien bestätigen die Wirksamkeit unseres Verfahrens und zeigen, dass die Dual-Struktur im Stem-Modul sowie der rekurrente Mechanismus traditionelle Ansätze übertrifft. Unsere Ergebnisse demonstrieren das Potenzial von S6-basierten Modellen für TAL-Aufgaben und eröffnen neue Wege für zukünftige Forschung.