Langfristige Merkmalsbanken für die detaillierte Videoanalyse

Um die Welt zu verstehen, müssen wir Menschen ständig das Gegenwärtige mit der Vergangenheit in Beziehung setzen und Ereignisse in ihren Kontext einordnen. In dieser Arbeit ermöglichen wir bestehenden Video-Modellen, dies ebenfalls zu tun. Wir schlagen eine Langzeit-Feature-Bank vor – unterstützende Informationen, die über die gesamte Dauer eines Videos extrahiert werden –, um den neuesten Video-Modellen zu helfen, die ansonsten nur kurze Ausschnitte von 2-5 Sekunden betrachten würden. Unsere Experimente zeigen, dass die Erweiterung von 3D-Faltungss Netzwerken (3D convolutional networks) durch eine Langzeit-Feature-Bank auf drei anspruchsvollen Videodatensätzen – AVA, EPIC-Kitchens und Charades – zur Erzielung von Spitzenresultaten führt.