HyperAIHyperAI

Command Palette

Search for a command to run...

NSNet: Non-Saliency-Suppression-Sampler für eine effiziente Videoerkennung

Boyang Xia Wenhao Wu Haoran Wang Rui Su Dongliang He Haosen Yang Xiaoran Fan Wanli Ouyang

Zusammenfassung

Es ist herausfordernd für künstliche Intelligenz-Systeme, eine präzise Videorekognition unter Bedingungen geringer Rechenkosten zu erzielen. Adaptive Inferenz-basierte Methoden zur effizienten Videorekognition konzentrieren sich typischerweise auf die Vorauspräsentation von Videos und fokussieren sich auf auffällige Abschnitte, um die Rechenkosten zu reduzieren. Die meisten bestehenden Arbeiten konzentrieren sich auf komplexe Netzwerke, die mit Zielsetzungen zur Videoklassifikation trainiert werden. Dabei werden alle Frames als positive Beispiele betrachtet, während nur wenige Arbeiten die Unterscheidung zwischen positiven Beispielen (auffällige Frames) und negativen Beispielen (nicht-auffällige Frames) in der Supervision berücksichtigen. Um diese Lücke zu schließen, schlagen wir in diesem Paper ein neuartiges Non-saliency Suppression Network (NSNet) vor, das die Reaktionen nicht-auffälliger Frames effektiv unterdrückt. Konkret generieren wir auf Frame-Ebene effektive Pseudolabels, die die Unterscheidung zwischen auffälligen und nicht-auffälligen Frames ermöglichen und somit die Lernung der Frame-Auffälligkeit leiten. Auf Video-Ebene wird ein zeitlicher Aufmerksamkeitsmodul unter dualer Supervision sowohl auf den auffälligen als auch auf den nicht-auffälligen Repräsentationen gelernt. Die Auffälligkeitsmessungen aus beiden Ebenen werden kombiniert, um komplementäre Informationen auf mehreren Granularitäten auszunutzen. Umfangreiche Experimente an vier etablierten Benchmarks bestätigen, dass unser NSNet nicht nur eine state-of-the-art Genauigkeits- und Effizienz-Trade-off erreicht, sondern auch eine signifikant schnellere praktische Inferenzgeschwindigkeit (2,4–4,3-fach) im Vergleich zu aktuellen Methoden aufweist. Die Projektseite finden Sie unter: https://lawrencexia2008.github.io/projects/nsnet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp