Command Palette
Search for a command to run...
Wechselseitige Transformationen für unsupervised Video Object Segmentation
Wechselseitige Transformationen für unsupervised Video Object Segmentation
Shengfeng He Guoqiang Han Haoxin Chen Yongtuo Liu Wenxi Liu Sucheng Ren
Zusammenfassung
Unüberwachte Video-Objekt-Segmentierung (UVOS) zielt darauf ab, die primären Objekte in Videos ohne menschliche Intervention zu segmentieren. Aufgrund des Fehlens vorheriger Kenntnisse über die primären Objekte stellt deren Identifizierung aus Videos die zentrale Herausforderung von UVOS dar. Bisherige Ansätze betrachten oft bewegte Objekte als primäre Objekte und stützen sich auf optische Flüsse, um Bewegungsinformationen in Videos zu erfassen. Allerdings reicht die Flussinformation allein nicht aus, um primäre Objekte von Hintergrundobjekten zu unterscheiden, die sich gemeinsam bewegen. Denn bei der Kombination von verrauschten Bewegungsmerkmalen mit Erscheinungseigenschaften wird die Lokalisierung der primären Objekte irreführend beeinflusst. Um dieses Problem zu lösen, schlagen wir ein neuartiges wechselseitiges Transformationsnetzwerk vor, das primäre Objekte durch die Korrelation dreier zentraler Faktoren erkennt: den innerframe-Kontrast, Bewegungshinweise und die zeitliche Kohärenz sich wiederholender Objekte. Jeder dieser Faktoren entspricht einer charakteristischen Art von primärem Objekt, und unsere wechselseitige Mechanik ermöglicht eine organische Koordination dieser Aspekte, um mehrdeutige Ablenkungen effektiv aus den Videos zu entfernen. Zudem ermöglicht unser Transformationsmodul, durch wechselseitige Transformation der Erscheinungsmuster die Bewegungsmuster zu verbessern, wodurch Informationen über bewegte Hintergrundobjekte aus den Bewegungsmerkmalen ausgeschlossen werden. Dadurch wird der Fokus auf bewegte Objekte mit auffälliger Erscheinung gerichtet, während gleichzeitig mitbewegte Ausreißer eliminiert werden. Experimente an öffentlichen Benchmarks zeigen, dass unser Modell die derzeit besten Methoden deutlich übertrifft.