Punkt-basierte zeitliche Aktionslokalisierung: Brückenbildung zwischen vollständig überwachten Vorschlägen und schwach überwachten Verlustfunktionen

Punkt-basierte zeitliche Aktionslokalisierung (PTAL) zielt darauf ab, Aktionen in ungeschnittenen Videos lokalisiert zu erhalten, wobei für jede Aktionseinheit lediglich eine einzige Zeitstempelannotation zur Verfügung steht. Bestehende Methoden verfolgen einen frame-basierten Vorhersageansatz, um aus den spärlichen Einzelbild-Labels zu lernen. Dieser Ansatz leidet jedoch zwangsläufig unter einem sehr großen Lösungsraum. In dieser Arbeit wird der Ansatz der proposal-basierten Vorhersage für punkt-basierte Annotationen untersucht, der den Vorteil eines engeren Lösungsraums und konsistenter Vorhersagen zwischen benachbarten Frames bietet. Zunächst dienen die punkt-basierten Annotationen als Keypoint-Supervision, um einen Keypoint-Detektor zu trainieren. Im Stadium der Ortsvorhersage wird anschließend ein einfacher, jedoch wirksamer Mapper-Modul eingeführt, der die Rückpropagation von Trainingsfehlern ermöglicht und somit eine Brücke zwischen dem vollständig überwachten Rahmen und der schwachen Supervision schlägt. So weit wir wissen, ist dies die erste Arbeit, die den vollständig überwachten Ansatz für die punkt-basierte Aufgabenstellung nutzt. Experimente an den Datensätzen THUMOS14, BEOID und GTEA bestätigen die Wirksamkeit des vorgeschlagenen Ansatzes sowohl quantitativ als auch qualitativ und zeigen, dass unsere Methode die bisher besten Ansätze übertrifft.