HyperAIHyperAI

Command Palette

Search for a command to run...

Wechselseitige Transformationen für unsupervised Video Object Segmentation

Shengfeng He Guoqiang Han Haoxin Chen Yongtuo Liu Wenxi Liu Sucheng Ren

Zusammenfassung

Unüberwachte Video-Objekt-Segmentierung (UVOS) zielt darauf ab, die primären Objekte in Videos ohne menschliche Intervention zu segmentieren. Aufgrund des Fehlens vorheriger Kenntnisse über die primären Objekte stellt deren Identifizierung aus Videos die zentrale Herausforderung von UVOS dar. Bisherige Ansätze betrachten oft bewegte Objekte als primäre Objekte und stützen sich auf optische Flüsse, um Bewegungsinformationen in Videos zu erfassen. Allerdings reicht die Flussinformation allein nicht aus, um primäre Objekte von Hintergrundobjekten zu unterscheiden, die sich gemeinsam bewegen. Denn bei der Kombination von verrauschten Bewegungsmerkmalen mit Erscheinungseigenschaften wird die Lokalisierung der primären Objekte irreführend beeinflusst. Um dieses Problem zu lösen, schlagen wir ein neuartiges wechselseitiges Transformationsnetzwerk vor, das primäre Objekte durch die Korrelation dreier zentraler Faktoren erkennt: den innerframe-Kontrast, Bewegungshinweise und die zeitliche Kohärenz sich wiederholender Objekte. Jeder dieser Faktoren entspricht einer charakteristischen Art von primärem Objekt, und unsere wechselseitige Mechanik ermöglicht eine organische Koordination dieser Aspekte, um mehrdeutige Ablenkungen effektiv aus den Videos zu entfernen. Zudem ermöglicht unser Transformationsmodul, durch wechselseitige Transformation der Erscheinungsmuster die Bewegungsmuster zu verbessern, wodurch Informationen über bewegte Hintergrundobjekte aus den Bewegungsmerkmalen ausgeschlossen werden. Dadurch wird der Fokus auf bewegte Objekte mit auffälliger Erscheinung gerichtet, während gleichzeitig mitbewegte Ausreißer eliminiert werden. Experimente an öffentlichen Benchmarks zeigen, dass unser Modell die derzeit besten Methoden deutlich übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Wechselseitige Transformationen für unsupervised Video Object Segmentation | Paper | HyperAI