HyperAIHyperAI

Command Palette

Search for a command to run...

RVOS: End-to-End Rekurrentes Netzwerk für die Segmentierung von Videoobjekten

Carles Ventura Miriam Bellver Andreu Girbau Amaia Salvador Ferran Marques Xavier Giro-i-Nieto

Zusammenfassung

Die Segmentierung mehrerer Objekte in Videos ist eine anspruchsvolle Aufgabe, insbesondere im Fall von Zero-Shot-Segmentierung, bei der am Anfang keinerlei Objektmasken gegeben sind und das Modell die zu segmentierenden Objekte während der Sequenz finden muss. In unserer Arbeit schlagen wir ein rekurrentes Netzwerk für die Segmentierung mehrerer Objekte in Videos (RVOS) vor, das vollständig end-to-end trainiert werden kann. Unser Modell integriert Rekurrenz in zwei verschiedenen Bereichen: (i) den räumlichen, der es ermöglicht, die verschiedenen Objektinstanzen innerhalb eines Bildes zu erkennen, und (ii) den zeitlichen, der die Kohärenz der segmentierten Objekte über die Zeit hinweg gewährleistet. Wir trainieren RVOS für Zero-Shot-Videoobjektsegmentierung und sind die Ersten, die quantitative Ergebnisse für die Benchmarks DAVIS-2017 und YouTube-VOS berichten. Darüber hinaus passen wir RVOS für One-Shot-Videoobjektsegmentierung an, indem wir die Masken aus vorherigen Zeitschritten als Eingaben verwenden, die vom rekurrenten Modul verarbeitet werden. Unser Modell erreicht vergleichbare Ergebnisse mit den besten bisherigen Techniken im YouTube-VOS-Benchmark und übertreffen alle früheren Videoobjektsegmentierungsverfahren ohne Online-Lernen im DAVIS-2017-Benchmark. Zudem erreicht unser Modell kürzere Inferenzlaufzeiten als frühere Methoden, wobei es 44 ms/Bild auf einer P100-GPU benötigt.请注意,虽然您的要求中提到了“法语”,但您需要的是德语翻译。上述翻译已按照德语的标准进行了处理。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp