Mask Transfiner für hochwertige Instanzsegmentierung

Zweistufige und abfragesbasierte Methoden zur Instanzsegmentierung haben bemerkenswerte Ergebnisse erzielt. Dennoch sind ihre segmentierten Masken weiterhin sehr grob. In diesem Paper stellen wir Mask Transfiner vor, eine Methode für hochwertige und effiziente Instanzsegmentierung. Im Gegensatz zu herkömmlichen Ansätzen, die auf regulären dichten Tensoren operieren, zerlegt unser Mask Transfiner die Bildregionen in eine Quadtree-Darstellung. Unser transformerbasiertes Verfahren verarbeitet ausschließlich detektierte fehleranfällige Knoten der Baumstruktur und korrigiert deren Fehler gleichzeitig und parallel. Obwohl diese spärlichen Pixel nur einen geringen Anteil der Gesamtanzahl ausmachen, sind sie entscheidend für die endgültige Maskenqualität. Dadurch kann Mask Transfiner hochgenaue Instanzmasken mit geringem Rechenaufwand vorhersagen. Umfangreiche Experimente zeigen, dass Mask Transfiner gegenwärtige Methoden zur Instanzsegmentierung auf drei etablierten Benchmarks übertrifft und sowohl zweistufige als auch abfragesbasierte Ansätze signifikant verbessert – um +3,0 Mask AP auf COCO und BDD100K sowie um +6,6 Boundary AP auf Cityscapes. Unser Quellcode und die trainierten Modelle werden unter http://vis.xyz/pub/transfiner verfügbar sein.