BSN++: Komplementärer Randregressor mit skalenbalancierter Relationmodellierung zur Generierung von zeitlichen Aktionsvorschlägen

Die Generierung von menschlichen Aktionsvorschlägen in unbeschnittenen Videos ist eine wichtige und herausfordernde Aufgabe mit weitreichenden Anwendungen. Aktuelle Methoden leiden oft unter störenden Grenzpositionen und der geringen Qualität der Konfidenzwerte, die für die Vorschlagsgenerierung verwendet werden. In dieser Arbeit stellen wir BSN++ vor, einen neuen Framework, der komplementäre Grenzregressoren und Relationenmodellierung für die temporale Vorschlagsgenerierung nutzt. Zunächst schlagen wir einen neuartigen Grenzregressor vor, der sich auf die komplementären Eigenschaften von Start- und Endgrenzklassifikatoren stützt. Insbesondere nutzen wir eine U-förmige Architektur mit verschachtelten Skip-Verbindungen, um reiche Kontexte zu erfassen, und führen ein bidirektionales Grenzabgleichmechanismus ein, um die Genauigkeit der Grenzen zu verbessern. Zweitens, um die in früheren Methoden vernachlässigten Beziehungen zwischen Vorschlägen zu berücksichtigen, entwickeln wir einen Vorschlagsrelationblock, der zwei Selbst-Aufmerksamkeitsmodule (Self-Attention Modules) in Bezug auf Position und Kanal beinhaltet. Darüber hinaus stellen wir fest, dass es unvermeidlich Datenungleichgewichte in den positiven/negativen Vorschlägen und den zeitlichen Dauern gibt, die das Modellverhalten bei Schwanzverteilungen beeinträchtigen. Um dieses Problem zu mildern, führen wir eine skalenbalancierte Wiederholungsstrategie (scale-balanced re-sampling strategy) ein. Ausführliche Experimente wurden auf zwei gängigen Benchmarks durchgeführt: ActivityNet-1.3 und THUMOS14. Diese zeigen, dass BSN++ den Stand der Technik erreicht hat. Wie erwartet belegte das vorgeschlagene BSN++ beim CVPR19 - ActivityNet Challenge Leaderboard den ersten Platz in der Aufgabe der temporalen Aktionsskalierung (temporal action localization task).