PolyTransform: Deep Polygon Transformer für die Instance-Segmentation

In diesem Artikel stellen wir PolyTransform vor, einen neuartigen Algorithmus für die Instanzsegmentierung, der präzise, geometrietreue Masken erzeugt, indem die Stärken etablierter Segmentierungsansätze mit modernen polygonbasierten Methoden kombiniert werden. Insbesondere nutzen wir zunächst ein Segmentierungsnetzwerk, um Instanzmasken zu generieren. Anschließend werden diese Masken in eine Menge von Polygonen umgewandelt, die dann einem Deformationsnetzwerk zugeführt werden, welches die Polygone so transformiert, dass sie die Objektränder besser erfassen. Unsere Experimente auf dem anspruchsvollen Cityscapes-Datensatz zeigen, dass PolyTransform die Leistung des zugrundeliegenden Instanzsegmentierungsnetzwerks erheblich verbessert und sich auf dem Test-Set-Leaderboard von Cityscapes auf Platz 1 befindet. Zudem erzielen wir beeindruckende Verbesserungen im interaktiven Annotationsszenario. Den Quellcode stellen wir unter https://github.com/uber-research/PolyTransform zur Verfügung.