Vorschlag-Beziehungsnetzwerk für die zeitliche Aktionsdetektion

Dieser technische Bericht präsentiert unsere Lösung für die Aufgabe des zeitlichen Aktionsdetektionsverfahrens im ActivityNet Challenge 2021. Ziel dieser Aufgabe ist die Lokalisierung und Identifikation von Interaktionsaktionen in langen, ungeschnittenen Videos. Die zentrale Herausforderung dieser Aufgabe ergibt sich aus der stark variierenden zeitlichen Dauer der Aktionen sowie der Tatsache, dass die Zielaktionen typischerweise in einem Hintergrund von irrelevanten Aktivitäten versteckt sind. Unsere Lösung basiert auf BMN und umfasst hauptsächlich drei Schritte: 1) Aktionsklassifikation und Merkmalscodierung mittels SlowFast, CSN und ViViT; 2) Vorschlagsgenerierung. Wir verbessern BMN durch die Einbettung des vorgeschlagenen Proposal Relation Networks (PRN), wodurch hochwertige Vorschläge generiert werden können; 3) Aktionsdetektion. Die Detektionsergebnisse werden ermittelt, indem den Vorschlägen entsprechende Klassifikationsergebnisse zugeordnet werden. Schließlich kombinieren wir die Ergebnisse unter verschiedenen Einstellungen und erreichen eine Leistung von 44,7 % auf dem Testset, was eine Verbesserung des Siegerergebnisses der ActivityNet 2020 um 1,9 % hinsichtlich des durchschnittlichen mAP darstellt.