Eine neuartige Region of Interest Extraction Layer für die Instance-Segmentierung

Angesichts der weiten Verbreitung tiefer neuronaler Netzarchitekturen für Aufgaben im Bereich des maschinellen Sehens sind derzeit zahlreiche neue Anwendungen zunehmend realisierbar. Unter diesen hat insbesondere die Instanzsegmentierung in letzter Zeit erhebliche Aufmerksamkeit erfahren, wobei die Leistungsfähigkeit zweistufiger Netzwerke – wie Mask R-CNN oder Faster R-CNN, die aus R-CNN abgeleitet sind – genutzt wird. In diesen komplexen Architekturen spielt die Region of Interest (RoI)-Extraktionsschicht eine entscheidende Rolle, die dafür zuständig ist, eine konsistente Teilmenge von Merkmalen aus einer einzelnen Schicht eines Feature Pyramid Networks (FPN) zu extrahieren, das oberhalb eines Backbone-Modells angeordnet ist.Diese Arbeit wird durch den Bedarf motiviert, die Beschränkungen bestehender RoI-Extraktoren zu überwinden, die jeweils nur eine einzige (die beste) Schicht aus dem FPN auswählen. Unser Ansatz basiert auf der Überzeugung, dass alle Schichten des FPN nützliche Informationen enthalten. Daher wird eine neue Schicht vorgestellt, die als „Generic RoI Extractor“ (GRoIE) bezeichnet wird und nicht-lokale Bausteine sowie Aufmerksamkeitsmechanismen integriert, um die Leistungsfähigkeit zu steigern.Ein umfassender Abstraktionsstudie auf Komponentenebene wurde durchgeführt, um die optimalen Algorithmen und Parameter für die GRoIE-Schicht zu identifizieren. Darüber hinaus lässt sich GRoIE nahtlos in jede zweistufige Architektur sowohl für Objektdetektion als auch für Instanzsegmentierung integrieren. Die Verbesserungen, die durch die Verwendung von GRoIE in verschiedenen state-of-the-art-Architekturen erzielt werden, werden daher ebenfalls evaluiert. Die vorgeschlagene Schicht führt zu einer Steigerung der AP um bis zu 1,1 % bei der Bounding-Box-Detektion und um bis zu 1,7 % bei der Instanzsegmentierung.Der Quellcode ist öffentlich über das GitHub-Repository unter https://github.com/IMPLabUniPr/mmdetection/tree/groie_dev verfügbar.