Schnelle Video-Objektsegmentierung mithilfe des Global Context Moduls

Wir haben einen Echtzeit-Algorithmus für hochwertige semi-supervised Video-Objektsegmentierung entwickelt. Seine Genauigkeit erreicht die des präzisesten, jedoch zeitaufwändigen Online-Lernmodells, während seine Geschwindigkeit der des schnellsten Template-Matching-Verfahrens mit suboptimaler Genauigkeit entspricht. Der zentrale Bestandteil des Modells ist ein neuartiger Global-Context-Modul, der Informationen effektiv über den gesamten Videobereich hinweg zusammenfasst und propagiert. Im Gegensatz zu früheren Ansätzen, die lediglich eine einzelne oder wenige Frames zur Steuerung der Segmentierung des aktuellen Frames heranziehen, nutzt der Global-Context-Modul alle vorherigen Frames. Im Unterschied zum bisherigen Stand der Technik, dem Space-Time Memory Network, das an jeder spatio-temporalen Position einen Speicherpfad speichert, verwendet der neue Modul eine festgelegte, feste Größe aufweisende Merkmalsrepräsentation. Dadurch verbraucht er unabhängig von der Videolänge konstanten Speicherplatz und erfordert erheblich weniger Speicher und Rechenleistung. Mit diesem innovativen Modul erreicht unser Modell Spitzenleistung auf Standardbenchmarks bei Echtzeit-Geschwindigkeit.