HyperAIHyperAI

Command Palette

Search for a command to run...

Objektweiterleitung über Zwischenrahmen-Attention für zeitlich stabile Video-Instanzsegmentierung

Anirudh S Chakravarthy Won-Dong Jang Zudi Lin Donglai Wei Song Bai Hanspeter Pfister

Zusammenfassung

Video-Instanzsegmentierung zielt darauf ab, Objekte in Videos zu detektieren, zu segmentieren und zu verfolgen. Aktuelle Ansätze erweitern bildbasierte Segmentieralgorithmen auf den zeitlichen Bereich. Dies führt jedoch zu zeitlich inkonsistenten Masken. In dieser Arbeit identifizieren wir die Maskenqualität aufgrund von zeitlicher Stabilität als Leistungsengpass. Darauf aufbauend schlagen wir eine Methode für die Video-Instanzsegmentierung vor, die das Problem fehlender Detektionen verringert. Da dieses Problem nicht allein durch räumliche Informationen gelöst werden kann, nutzen wir zeitliche Kontextinformationen mittels Inter-Frame-Attention. Dadurch kann unser Netzwerk fehlende Objekte mithilfe von Box-Vorhersagen aus benachbarten Frames neu fokussieren und somit fehlende Detektionen überwinden. Unsere Methode übertrifft die vorherigen State-of-the-Art-Algorithmen mit dem Mask R-CNN-Backbone erheblich und erreicht eine mAP von 36,0 % auf dem YouTube-VIS-Benchmark. Zudem ist unsere Methode vollständig online und benötigt keine zukünftigen Frames. Der Quellcode ist öffentlich unter https://github.com/anirudh-chakravarthy/ObjProp verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Objektweiterleitung über Zwischenrahmen-Attention für zeitlich stabile Video-Instanzsegmentierung | Paper | HyperAI