Jeder Schuss zählt: Die Verwendung von Exemplaren für die Wiederholungszählung in Videos

Die Zählung von Video-Wiederholungen bestimmt die Anzahl der Wiederholungen von wiederkehrenden Aktionen oder Bewegungen innerhalb eines Videos. Wir schlagen einen beispielbasierten Ansatz vor, der visuelle Korrespondenz von Video-Beispielen über Wiederholungen hinweg in Ziel-Videos entdeckt. Unser vorgeschlagenes Modell Every Shot Counts (ESCounts) ist ein aufmerksamkeitsbasierter Encoder-Decoder, der Videos unterschiedlicher Längen zusammen mit Beispielen aus denselben und anderen Videos kodiert. Im Training regressiert ESCounts die Positionen hoher Korrespondenz zu den Beispielen innerhalb des Videos. Parallel dazu lernt unsere Methode eine latente Darstellung, die allgemeine wiederholte Bewegungen kodiert, welche wir für beispielfreie, zero-shot Inferenz verwenden. Ausführliche Experimente mit gängigen Datensätzen (RepCount, Countix und UCFRep) zeigen, dass ESCounts den aktuellen Stand der Technik in allen drei Datensätzen erreicht. Detaillierte Abstraktionen verdeutlichen zudem die Effektivität unserer Methode.