Kontextbasierte Video-Instanzsegmentierung

In dieser Arbeit stellen wir die kontextsensible Video-Instanz-Segmentierung (CAVIS) vor, einen neuen Ansatz, der die Instanzzuordnung durch die Integration von Kontextinformationen in der Umgebung jedes Objekts verbessern soll. Um diese Informationen effizient zu extrahieren und zu nutzen, schlagen wir den kontextsensiblen Instanzverfolger (CAIT) vor, der Kontextdaten um die Instanzen herum mit den zentralen Instanzmerkmalen verbindet, um die Verfolgungsgenauigkeit zu erhöhen. Zudem führen wir den prototypischen Cross-Frame-Kontrastverlust (PCC) ein, der eine Konsistenz der objektbezogenen Merkmale über mehrere Frames hinweg sicherstellt und damit die Genauigkeit der Instanzzuordnung erheblich verbessert. CAVIS zeigt eine überlegene Leistung gegenüber den bislang besten Methoden auf allen Benchmark-Datensätzen sowohl in der Video-Instanz-Segmentierung (VIS) als auch in der Video-Panoptik-Segmentierung (VPS). Besonders hervorzuheben ist, dass unsere Methode auf dem OVIS-Datensatz ausgezeichnete Ergebnisse erzielt, der für besonders herausfordernde Videos bekannt ist.