Selbstüberwachte Video-Objekt-Segmentierung durch Bewegungsgruppierung

Tiere haben hochfunktionale visuelle Systeme entwickelt, um Bewegung zu erkennen und die Wahrnehmung auch in komplexen Umgebungen zu unterstützen. In dieser Arbeit streben wir danach, ein Computer-Vision-System zu entwickeln, das Objekte durch die Nutzung von Bewegungshinweisen segmentieren kann, also eine Bewegungssegmentierung. Wir leisten folgende Beiträge: Erstens führen wir eine einfache Variante des Transformers ein, um optische Flussbilder in Hauptobjekte und Hintergrund zu segmentieren. Zweitens trainieren wir die Architektur in einem selbstüberwachten Modus, d.h. ohne Verwendung manueller Annotationen. Drittens analysieren wir mehrere kritische Komponenten unserer Methode und führen umfassende Abstraktionsstudien durch, um ihre Notwendigkeit zu überprüfen. Viertens bewerten wir die vorgeschlagene Architektur anhand öffentlicher Benchmarks (DAVIS2016, SegTrackv2 und FBMS59). Trotz der Verwendung nur des optischen Flusses als Eingabe erzielt unser Ansatz bessere oder vergleichbare Ergebnisse mit den bisher besten selbstüberwachten Methoden und ist dabei um einen Faktor schneller. Zusätzlich bewerten wir unseren Ansatz anhand eines anspruchsvollen Tarnungsdatensatzes (MoCA), bei dem wir die anderen selbstüberwachten Ansätze deutlich übertreffen und uns günstig mit dem besten überwachten Ansatz vergleichen lassen. Dies unterstreicht die Bedeutung von Bewegungshinweisen und das potenzielle Bias bestehender Video-Segmentierungsmodelle gegenüber dem visuellen Erscheinungsbild.