HyperAIHyperAI

Command Palette

Search for a command to run...

NOVIS: Ein Fall für die end-to-end nahe-Online-Videosegmentierung von Instanzen

Tim Meinhardt; Matt Feiszli; Yuchen Fan; Laura Leal-Taixe; Rakesh Ranjan

Zusammenfassung

Bis vor kurzem war es in der Video-Instanz-Segmentierung (VIS)-Gemeinschaft üblich, dass Offline-Methoden im Allgemeinen den Frame-für-Frame Online-Verarbeitungen überlegen sind. Der jüngste Erfolg von Online-Methoden stellt jedoch diese Ansicht in Frage, insbesondere bei anspruchsvollen und langen Videosequenzen. Wir sehen unsere Arbeit als Widerlegung dieser jüngsten Beobachtungen und als Aufruf an die Gemeinschaft, sich auf spezielle nahezu-Online-VIS-Ansätze zu konzentrieren. Um unser Argument zu stützen, präsentieren wir eine detaillierte Analyse verschiedener Verarbeitungsparadigmen sowie die neue end-to-end trainierbare NOVIS (Near-Online Video Instance Segmentation)-Methode. Unser transformerbasiertes Modell prognostiziert direkt räumlich-zeitliche Maskenvolumina für Clips von Frames und führt die Instanztverfolgung zwischen Clips durch Überlappungsembeddings durch. NOVIS ist der erste nahezu-Online-VIS-Ansatz, der jegliche manuell gestaltete Tracking-Heuristiken vermeidet. Wir übertreffen alle existierenden VIS-Methoden um erhebliche Margen und liefern neue Standards in den Benchmarks von YouTube-VIS (2019/2021) sowie OVIS.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp