Effiziente semantische Video-Segmentation mit pro-Rahmen-Inferenz

Für die semantische Segmentierung führen die meisten bestehenden Echtzeit-Deep-Lern-Modelle, die jedes Frame unabhängig trainiert wurden, aufgrund fehlender Berücksichtigung zeitlicher Zusammenhänge zu inkonsistenten Ergebnissen in Video-Sequenzen. Fortgeschrittene Methoden berücksichtigen hingegen die Korrelationen innerhalb einer Video-Sequenz, beispielsweise durch die Propagierung von Ergebnissen auf benachbarte Frames mittels optischer Flussberechnung oder durch die Extraktion von Frame-Repräsentationen unter Einbeziehung anderer Frames. Solche Ansätze können jedoch zu ungenauen Ergebnissen oder unbalancierter Latenz führen. In dieser Arbeit behandeln wir die effiziente semantische Video-Segmentierung während der Inferenz in einer Frame-gegen-Frame-Weise. Im Gegensatz zu früheren Frame-gegen-Frame-Modellen berücksichtigen wir während des Trainings explizit die zeitliche Konsistenz zwischen den Frames als zusätzliche Einschränkung und integrieren diese in das Segmentierungssystem. Dadurch können wir während der Inferenz jedes Frame unabhängig verarbeiten – ohne Latenz – und gleichzeitig die zeitliche Konsistenz verbessern, ohne zusätzlichen Rechenaufwand oder Nachbearbeitung zu erzeugen. Wir nutzen kompakte Modelle zur Echtzeit-Verarbeitung. Um die Leistungsunterschiede zwischen kompakten und großen Modellen zu verringern, entwickeln wir neue Methoden zur Wissens-Distillation. Unsere Ergebnisse überzeugen gegenüber früheren Keyframe-basierten Ansätzen durch ein besseres Verhältnis von Genauigkeit und Inferenzgeschwindigkeit auf etablierten Benchmarks wie Cityscapes und CamVid. Zudem zeigt sich eine signifikante Verbesserung der zeitlichen Konsistenz gegenüber Baselines, die jeweils unabhängig für jedes Frame trainiert wurden. Der Quellcode ist verfügbar unter: https://tinyurl.com/segment-video