HyperAIHyperAI

Command Palette

Search for a command to run...

Identitätskonsistente Aggregation für die Videoobjekterkennung

Chaorui Deng; Da Chen; Qi Wu

Zusammenfassung

Im Bereich der Video-Objekterkennung (VID) ist es üblich, die reichen zeitlichen Kontexte aus dem Video zu nutzen, um die Objektrepräsentationen in jedem Frame zu verbessern. Bestehende Methoden behandeln jedoch die zeitlichen Kontexte, die von verschiedenen Objekten stammen, ununterschiedlich und ignorieren ihre unterschiedlichen Identitäten. Intuitiv könnte das Aggregieren lokaler Ansichten desselben Objekts in verschiedenen Frames eine bessere Verständnis des Objekts fördern. Daher zielt dieses Papier darauf ab, das Modell dazu zu befähigen, sich auf die identitätskonsistenten zeitlichen Kontexte jedes Objekts zu konzentrieren, um umfassendere Objektrepräsentationen zu erzielen und schnelle Änderungen im Erscheinungsbild der Objekte wie Verdeckungen oder Bewegungsunschärfe effizient zu bewältigen. Die Umsetzung dieses Ziels auf Basis bestehender VID-Modelle stößt jedoch auf Effizienzprobleme aufgrund ihrer redundanten Regionenvorschläge und nichtparallelen Frame-basierten Vorhersagemethode. Um dies zu unterstützen, schlagen wir ClipVID vor, ein VID-Modell mit speziell für das Mining feingranularer und identitätskonsistenter zeitlicher Kontexte entwickelten Identitätskonsistenz-Aggregationschichten (ICA). Es reduziert durch eine Set-Vorhersage-Strategie die Redundanzen effektiv, wodurch die ICA-Schichten sehr effizient sind und uns ermöglicht, eine Architektur zu entwerfen, die parallele Clip-basierte Vorhersagen für den gesamten Videoclip durchführt. Ausführliche experimentelle Ergebnisse belegen die Überlegenheit unserer Methode: ein Stand-der-Technik-Ergebnis (SOTA) von 84,7 % mAP auf dem ImageNet VID-Datensatz bei einer Geschwindigkeit von etwa 7-mal schneller (39,3 fps) als frühere SOTAs.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp