SOGNet: Scene Overlap Graph Network für Panoptic Segmentation

Die Aufgabe der Panoptic-Segmentierung erfordert eine einheitliche Ausgabe aus semantischen und instanzbasierten Segmentierungsergebnissen, die möglicherweise Überlappungen enthalten. Derzeitige Studien ignorieren jedoch weitgehend die Modellierung solcher Überlappungen. In dieser Arbeit zielen wir darauf ab, die Überlappungsbeziehungen zwischen Instanzen zu modellieren und diese zu lösen, um die Panoptic-Segmentierung zu verbessern. Inspiriert durch die Darstellung von Szenengraphen formulieren wir das Überlappungsproblem als vereinfachten Fall, den wir als „Scene Overlap Graph“ bezeichnen. Wir nutzen Kategorien-, Geometrie- und Erscheinungsmerkmale jeder Objektinstanz, um eine relationale Einbettung durchzuführen, und generieren eine Relationsmatrix, die die Überlappungsbeziehungen kodiert. Um den Mangel an direkter Supervision zu kompensieren, führen wir ein differenzierbares Modul ein, das die Überlappung zwischen beliebigen Paaren von Instanzen auflöst. Die Maske-Logits, nachdem die Überlappungen entfernt wurden, werden anschließend in eine pixelweise Instanz-ID-Klassifikation eingespeist, die die Panoptic-Supervision nutzt, um die Modellierung der Überlappungsbeziehungen zu unterstützen. Zudem generieren wir eine annähernde Ground-Truth für die Überlappungsbeziehungen als schwache Supervision, um die Genauigkeit der von unserem Ansatz vorhergesagten Überlappungsbeziehungen zu quantifizieren. Experimente auf den Datensätzen COCO und Cityscapes zeigen, dass unser Verfahren in der Lage ist, Überlappungsbeziehungen präzise vorherzusagen und die bisher beste Leistung bei der Panoptic-Segmentierung erreicht. Unser Ansatz wurde zudem mit dem Innovation Award der COCO 2019 Challenge ausgezeichnet.