Spärliche Instanzaktivierung für Echtzeit-Instanzsegmentierung

In dieser Arbeit schlagen wir einen konzeptionell neuartigen, effizienten und vollständig faltungsnetzbasierten Ansatz für die Echtzeit-Instanzsegmentierung vor. Bislang basieren die meisten Methoden der Instanzsegmentierung stark auf der Objekterkennung und führen Maskenvorhersagen anhand von Begrenzungsrahmen oder dichten Zentren durch. Im Gegensatz dazu schlagen wir eine dünn besetzte Menge von Instanzaktivierungskarten als neue Objektrepräsentation vor, um informierende Bereiche für jedes Vordergrundobjekt hervorzuheben. Anschließend werden instanzspezifische Merkmale durch Aggregation der Merkmale gemäß den hervorgehobenen Bereichen für die Erkennung und Segmentierung gewonnen. Darüber hinaus können die Instanzaktivierungskarten auf Basis des bipartiten Matchings Objekte im Ein-zu-Eins-Stil vorhersagen, wodurch eine nicht-maximale Unterdrückung (Non-Maximum Suppression, NMS) in der Nachbearbeitung vermieden wird. Dank der einfachen aber effektiven Designentscheidungen mit Instanzaktivierungskarten erreicht SparseInst extrem schnelle Inferenzgeschwindigkeit und erzielt 40 FPS und 37,9 AP auf dem COCO-Benchmark, was in Bezug auf Geschwindigkeit und Genauigkeit deutlich über den Leistungen vergleichbarer Verfahren hinausgeht. Der Quellcode und die Modelle sind unter https://github.com/hustvl/SparseInst verfügbar.