HyperAIHyperAI
vor 17 Tagen

NSNet: Non-Saliency-Suppression-Sampler für eine effiziente Videoerkennung

Boyang Xia, Wenhao Wu, Haoran Wang, Rui Su, Dongliang He, Haosen Yang, Xiaoran Fan, Wanli Ouyang
NSNet: Non-Saliency-Suppression-Sampler für eine effiziente Videoerkennung
Abstract

Es ist herausfordernd für künstliche Intelligenz-Systeme, eine präzise Videorekognition unter Bedingungen geringer Rechenkosten zu erzielen. Adaptive Inferenz-basierte Methoden zur effizienten Videorekognition konzentrieren sich typischerweise auf die Vorauspräsentation von Videos und fokussieren sich auf auffällige Abschnitte, um die Rechenkosten zu reduzieren. Die meisten bestehenden Arbeiten konzentrieren sich auf komplexe Netzwerke, die mit Zielsetzungen zur Videoklassifikation trainiert werden. Dabei werden alle Frames als positive Beispiele betrachtet, während nur wenige Arbeiten die Unterscheidung zwischen positiven Beispielen (auffällige Frames) und negativen Beispielen (nicht-auffällige Frames) in der Supervision berücksichtigen. Um diese Lücke zu schließen, schlagen wir in diesem Paper ein neuartiges Non-saliency Suppression Network (NSNet) vor, das die Reaktionen nicht-auffälliger Frames effektiv unterdrückt. Konkret generieren wir auf Frame-Ebene effektive Pseudolabels, die die Unterscheidung zwischen auffälligen und nicht-auffälligen Frames ermöglichen und somit die Lernung der Frame-Auffälligkeit leiten. Auf Video-Ebene wird ein zeitlicher Aufmerksamkeitsmodul unter dualer Supervision sowohl auf den auffälligen als auch auf den nicht-auffälligen Repräsentationen gelernt. Die Auffälligkeitsmessungen aus beiden Ebenen werden kombiniert, um komplementäre Informationen auf mehreren Granularitäten auszunutzen. Umfangreiche Experimente an vier etablierten Benchmarks bestätigen, dass unser NSNet nicht nur eine state-of-the-art Genauigkeits- und Effizienz-Trade-off erreicht, sondern auch eine signifikant schnellere praktische Inferenzgeschwindigkeit (2,4–4,3-fach) im Vergleich zu aktuellen Methoden aufweist. Die Projektseite finden Sie unter: https://lawrencexia2008.github.io/projects/nsnet.