HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentierung von bewegten Objekten durch eine objektzentrierte schichtweise Darstellung

Junyu Xie Weidi Xie Andrew Zisserman

Zusammenfassung

Das Ziel dieser Arbeit ist es, ein Modell zu entwickeln, das in der Lage ist, mehrere bewegte Objekte in einem Video zu entdecken, zu verfolgen und zu segmentieren. Wir leisten vier Beiträge: Erstens führen wir ein objektzentriertes Segmentierungsmodell mit einer tiefenreihigen Schichtdarstellung ein. Dies wird durch eine Variante der Transformer-Architektur implementiert, die optischen Fluss verarbeitet, wobei jeder Abfragevektor ein Objekt und dessen Schicht für das gesamte Video spezifiziert. Das Modell kann effektiv mehrere bewegte Objekte entdecken und gegenseitige Verdeckungen behandeln; Zweitens präsentieren wir einen skalierbaren Pipeline zur Generierung von synthetischen Trainingsdaten für mehrere Objekte durch Schichtkompositionen, der verwendet wird, um das vorgeschlagene Modell zu trainieren. Dies reduziert erheblich die Anforderungen an arbeitsintensive Annotationen und unterstützt die Generalisierung von Sim2Real (Simulation zur Realität); Drittens führen wir umfassende Ablationsstudien durch, die zeigen, dass das Modell in der Lage ist, die Beständigkeit von Objekten und zeitliche Formkonsistenz zu lernen sowie amodale Segmentierungsmasken vorherzusagen; Viertens evaluieren wir unser Modell, das ausschließlich auf synthetischen Daten trainiert wurde, anhand standardisierter Video-Segmentierungsbenchmarks wie DAVIS, MoCA, SegTrack und FBMS-59 und erreichen dabei den Stand der Technik unter den existierenden Methoden, die keine manuellen Annotationen verwenden. Durch Testzeit-Anpassung beobachten wir zudem weitere Leistungssteigerungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Segmentierung von bewegten Objekten durch eine objektzentrierte schichtweise Darstellung | Paper | HyperAI