BSN: Boundary Sensitive Network für die Generierung von temporalen Aktionenvorschlägen

Die Generierung zeitlicher Aktionenvorschläge ist ein wichtiges, aber schwieriges Problem, da Vorschläge mit reichhaltigem Aktioneninhalt unerlässlich sind für die Analyse von realweltlichen Videos mit langer Dauer und hohem Anteil an irrelevantem Inhalt. Dieses Problem erfordert Methoden, die nicht nur Vorschläge mit präzisen zeitlichen Grenzen generieren, sondern auch Vorschläge mit hoher Recall- und Overlap-Rate bei relativ wenigen Vorschlägen zur Abdeckung tatsächlicher Aktioneninstanzen zurückholen. Um diese Schwierigkeiten zu bewältigen, stellen wir eine effektive Vorschlagsgenerierungsmethode vor, die als Boundary-Sensitive Network (BSN) bezeichnet wird und einen "lokal zu global" Ansatz verfolgt. Lokal identifiziert das BSN zunächst zeitliche Grenzen mit hoher Wahrscheinlichkeit und kombiniert diese direkt zu Vorschlägen. Global verwendet das BSN das Boundary-Sensitive Proposal-Feature, um Vorschläge durch die Bewertung des Konfidenzniveaus zu extrahieren, ob ein Vorschlag innerhalb seines Bereichs eine Aktion enthält. Wir führen Experimente auf zwei anspruchsvollen Datensätzen durch: ActivityNet-1.3 und THUMOS14, wobei das BSN andere state-of-the-art Methoden zur Generierung zeitlicher Aktionenvorschläge in Bezug auf hohe Recall- und zeitliche Präzision übertrifft. Schließlich zeigen weitere Experimente, dass unsere Methode durch die Kombination bestehender Aktionenklassifikatoren die state-of-the-art Leistung der zeitlichen Aktionserkennung erheblich verbessert.