Schnelle interaktive Videoobjektsegmentierung mit Graph-Neuralnetzen

Die pixelweise Annotation von Bildsequenzen kann für Menschen sehr mühsam sein.Interaktive Videoobjektsegmentierung strebt an, automatische Methoden zu nutzen, um den Prozess zu beschleunigen und die Arbeitsbelastung der Annotatoren zu reduzieren. Die meisten modernen Ansätze basieren auf tiefen Faltungsnetzen, die Informationen aus menschlichen Annotationen über das gesamte Video sammeln und verarbeiten. Solche Netze enthalten jedoch Millionen von Parametern und benötigen riesige Mengen an beschrifteten Trainingsdaten, um Overfitting zu vermeiden. Darüber hinaus wird die Label-Propagierung in der Regel als Reihe von schrittweisen Frame-by-Frame-Inferenzschritten durchgeführt, was eine Parallelisierung erschwert und daher zeitaufwendig ist. In dieser Arbeit präsentieren wir einen Ansatz auf Basis von Graph-Neural Networks (GNN), um das Problem der interaktiven Videoobjektsegmentierung anzugehen. Unser Netzwerk arbeitet mit Superpixel-Graphen, die es uns ermöglichen, die Dimensionalität des Problems um mehrere Größenordnungen zu reduzieren. Wir zeigen, dass unser Netzwerk mit nur wenigen tausend Parametern den Stand der Technik erreichen kann, während das Inferenzverfahren schnell bleibt und mit sehr wenig Daten schnell trainiert werden kann.