PointRend: Bildsegmentierung als Rendering

Wir präsentieren eine neue Methode zur effizienten, hochwertigen Bildsegmentierung von Objekten und Szenen. Durch die Analogie klassischer Computergrafik-Verfahren zur effizienten Darstellung mit den Herausforderungen von Über- und Untersampling bei der Pixel-Labeling-Aufgabe entwickeln wir einen einzigartigen Ansatz, Bildsegmentierung als ein Darstellungsproblem zu betrachten. Von dieser Perspektive aus stellen wir das neuronale Netzwerk-Modul PointRend (Point-based Rendering) vor: ein Modul, das punktbasierte Segmentierungsvorhersagen an adaptiv ausgewählten Positionen mittels eines iterativen Unterteilungsalgorithmus durchführt. PointRend lässt sich flexibel sowohl für Aufgaben der Instanz- als auch der semantischen Segmentierung einsetzen, indem es auf bestehende state-of-the-art-Modelle aufbaut. Obwohl zahlreiche konkrete Implementierungen der allgemeinen Idee möglich sind, zeigen wir, dass bereits ein einfacher Entwurf hervorragende Ergebnisse erzielt. Qualitativ liefert PointRend scharfe Objektränder in Bereichen, die durch frühere Methoden übermäßig geglättet werden. Quantitativ erzielt PointRend signifikante Verbesserungen auf den Datensätzen COCO und Cityscapes, sowohl für die Instanz- als auch für die semantische Segmentierung. Die Effizienz von PointRend ermöglicht Ausgabegrößen, die gegenüber bestehenden Ansätzen aufgrund von Speicher- oder Rechenkosten sonst unpraktisch wären. Der Quellcode ist unter https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend verfügbar.