HyperAIHyperAI

Command Palette

Search for a command to run...

Effiziente semantische Video-Segmentation mit pro-Rahmen-Inferenz

Yifan Liu Chunhua Shen Changqian Yu Jingdong Wang

Zusammenfassung

Für die semantische Segmentierung führen die meisten bestehenden Echtzeit-Deep-Lern-Modelle, die jedes Frame unabhängig trainiert wurden, aufgrund fehlender Berücksichtigung zeitlicher Zusammenhänge zu inkonsistenten Ergebnissen in Video-Sequenzen. Fortgeschrittene Methoden berücksichtigen hingegen die Korrelationen innerhalb einer Video-Sequenz, beispielsweise durch die Propagierung von Ergebnissen auf benachbarte Frames mittels optischer Flussberechnung oder durch die Extraktion von Frame-Repräsentationen unter Einbeziehung anderer Frames. Solche Ansätze können jedoch zu ungenauen Ergebnissen oder unbalancierter Latenz führen. In dieser Arbeit behandeln wir die effiziente semantische Video-Segmentierung während der Inferenz in einer Frame-gegen-Frame-Weise. Im Gegensatz zu früheren Frame-gegen-Frame-Modellen berücksichtigen wir während des Trainings explizit die zeitliche Konsistenz zwischen den Frames als zusätzliche Einschränkung und integrieren diese in das Segmentierungssystem. Dadurch können wir während der Inferenz jedes Frame unabhängig verarbeiten – ohne Latenz – und gleichzeitig die zeitliche Konsistenz verbessern, ohne zusätzlichen Rechenaufwand oder Nachbearbeitung zu erzeugen. Wir nutzen kompakte Modelle zur Echtzeit-Verarbeitung. Um die Leistungsunterschiede zwischen kompakten und großen Modellen zu verringern, entwickeln wir neue Methoden zur Wissens-Distillation. Unsere Ergebnisse überzeugen gegenüber früheren Keyframe-basierten Ansätzen durch ein besseres Verhältnis von Genauigkeit und Inferenzgeschwindigkeit auf etablierten Benchmarks wie Cityscapes und CamVid. Zudem zeigt sich eine signifikante Verbesserung der zeitlichen Konsistenz gegenüber Baselines, die jeweils unabhängig für jedes Frame trainiert wurden. Der Quellcode ist verfügbar unter: https://tinyurl.com/segment-video


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Effiziente semantische Video-Segmentation mit pro-Rahmen-Inferenz | Paper | HyperAI