HyperAIHyperAI

Command Palette

Search for a command to run...

Video-Instanzsegmentierung

Linjie Yang* ByteDance AI Lab [email protected] Yuchen Fan UIUC [email protected] Ning Xu Adobe Research [email protected]

Zusammenfassung

In dieser Arbeit stellen wir eine neue Aufgabe im Bereich der Computer Vision vor, die als Video-Instanz-Segmentierung bezeichnet wird. Das Ziel dieser neuen Aufgabe besteht in der gleichzeitigen Detektion, Segmentierung und Verfolgung von Instanzen in Videos. Mit anderen Worten, es handelt sich hierbei um die erste Erweiterung des Problems der Bild-Instanz-Segmentierung auf den Videobereich. Um Forschungen zu dieser neuen Aufgabe zu erleichtern, schlagen wir einen groß angelegten Benchmark vor, den wir YouTube-VIS nennen. Dieser besteht aus 2883 hochaufgelösten YouTube-Videos, einer Labelmenge mit 40 Kategorien und 131.000 hochwertigen Instanzmasken. Des Weiteren schlagen wir einen neuen Algorithmus namens MaskTrack R-CNN für diese Aufgabe vor. Unsere neue Methode führt eine zusätzliche Tracking-Zweigstruktur (tracking branch) in Mask R-CNN ein, um die Detektions-, Segmentierungs- und Tracking-Aufgaben simultan durchzuführen. Schließlich evaluieren wir die vorgeschlagene Methode sowie mehrere starke Baseline-Modelle auf unserem neuen Datensatz. Die experimentellen Ergebnisse verdeutlichen deutlich die Vorteile des vorgeschlagenen Algorithmus und geben Hinweise für zukünftige Verbesserungen. Wir glauben, dass die Aufgabe der Video-Instanz-Segmentierung die Gemeinschaft dazu anregen wird, entlang der Forschungslinie zur Videoverstehung weiterzuarbeiten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp