HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstüberwachte Video-Objekt-Segmentierung durch Bewegungsgruppierung

Charig Yang Hala Lamdouar Erika Lu Andrew Zisserman Weidi Xie

Zusammenfassung

Tiere haben hochfunktionale visuelle Systeme entwickelt, um Bewegung zu erkennen und die Wahrnehmung auch in komplexen Umgebungen zu unterstützen. In dieser Arbeit streben wir danach, ein Computer-Vision-System zu entwickeln, das Objekte durch die Nutzung von Bewegungshinweisen segmentieren kann, also eine Bewegungssegmentierung. Wir leisten folgende Beiträge: Erstens führen wir eine einfache Variante des Transformers ein, um optische Flussbilder in Hauptobjekte und Hintergrund zu segmentieren. Zweitens trainieren wir die Architektur in einem selbstüberwachten Modus, d.h. ohne Verwendung manueller Annotationen. Drittens analysieren wir mehrere kritische Komponenten unserer Methode und führen umfassende Abstraktionsstudien durch, um ihre Notwendigkeit zu überprüfen. Viertens bewerten wir die vorgeschlagene Architektur anhand öffentlicher Benchmarks (DAVIS2016, SegTrackv2 und FBMS59). Trotz der Verwendung nur des optischen Flusses als Eingabe erzielt unser Ansatz bessere oder vergleichbare Ergebnisse mit den bisher besten selbstüberwachten Methoden und ist dabei um einen Faktor schneller. Zusätzlich bewerten wir unseren Ansatz anhand eines anspruchsvollen Tarnungsdatensatzes (MoCA), bei dem wir die anderen selbstüberwachten Ansätze deutlich übertreffen und uns günstig mit dem besten überwachten Ansatz vergleichen lassen. Dies unterstreicht die Bedeutung von Bewegungshinweisen und das potenzielle Bias bestehender Video-Segmentierungsmodelle gegenüber dem visuellen Erscheinungsbild.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp