Lernen der Aktionsvollständigkeit aus Punkten für schwach beschriftete zeitliche Aktionslokalisierung

Wir behandeln das Problem der Lokalisierung zeitlicher Intervalle von Aktionen, wobei für jede Aktionseinheit lediglich eine einzige Bildrahmen-Etikette zum Trainieren zur Verfügung steht. Aufgrund der spärlichen Etikettierung gelingt es bestehenden Ansätzen nicht, die Vollständigkeit von Aktionen zu lernen, was zu fragmentierten Aktionserkennungen führt. In diesem Artikel stellen wir einen neuartigen Ansatz vor, bei dem dichte Pseudo-Etiketten generiert werden, um dem Modell eine Anleitung zur Vollständigkeit zu geben. Konkret wählen wir zunächst Pseudo-Hintergrundpunkte aus, um punktuelle Aktionsetiketten zu ergänzen. Anschließend nutzen wir diese Punkte als Keimstellen, um die optimale Sequenz zu finden, die wahrscheinlich vollständige Aktionseinheiten enthält und gleichzeitig mit den Keimstellen übereinstimmt. Um die Vollständigkeit aus der gewonnenen Sequenz zu lernen, führen wir zwei neuartige Verlustfunktionen ein, die Aktionseinheiten im Hinblick auf die Aktionsscore und die Merkmalsähnlichkeit jeweils mit Hintergrundpunkten vergleichen. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Vollständigkeitsanleitung tatsächlich hilft, vollständige Aktionseinheiten präzise zu lokalisieren, was insbesondere bei hohen IoU-Schwellenwerten zu erheblichen Leistungssteigerungen führt. Darüber hinaus demonstrieren wir die Überlegenheit unseres Verfahrens gegenüber bestehenden state-of-the-art-Methoden an vier Benchmarks: THUMOS’14, GTEA, BEOID und ActivityNet. Besonders bemerkenswert ist, dass unser Ansatz selbst mit nur einem Sechstel der Annotationskosten vergleichbare Ergebnisse wie jüngere vollständig überwachte Methoden erzielt. Unser Code ist unter https://github.com/Pilhyeon verfügbar.