HyperAIHyperAI

Command Palette

Search for a command to run...

Video Instance Segmentation mit einem Propose-Reduce-Paradigma

Huaijia Lin Ruizheng Wu Shu Liu Jiangbo Lu Jiaya Jia

Zusammenfassung

Video-Instanzsegmentierung (VIS) zielt darauf ab, für jedes Frame in Videos alle Instanzen vordefinierter Klassen zu segmentieren und zuzuordnen. Herkömmliche Methoden erzeugen typischerweise zunächst die Segmentierung für einen Frame oder einen Clip und verknüpfen anschließend die unvollständigen Ergebnisse mittels Verfolgung oder Matching. Diese Vorgehensweise kann zu Fehlerakku­mulation im Verknüpfungsschritt führen. Im Gegensatz dazu schlagen wir ein neues Paradigma – Propose-Reduce – vor, um durch einen einzigen Schritt vollständige Sequenzen für Eingabevideos zu generieren. Darüber hinaus integrieren wir eine Sequenz-Propagierungshead in eine bestehende Bildlevel-Instanzsegmentierungssystem, um eine langfristige Propagierung zu ermöglichen. Um Robustheit und hohe Erinnerungsrate (recall) unseres vorgeschlagenen Frameworks sicherzustellen, werden mehrere Sequenzen vorgeschlagen, wobei überflüssige Sequenzen derselben Instanz reduziert werden. Wir erreichen Stand der Technik-Leistungen auf zwei repräsentativen Benchmark-Datensätzen: 47,6 % AP auf dem YouTube-VIS-Validierungssatz und 70,4 % J&F auf dem DAVIS-UVOS-Validierungssatz. Der Quellcode ist unter https://github.com/dvlab-research/ProposeReduce verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp