Mask Frozen-DETR: Hochwertige Objektsegmentierung mit einer GPU

In diesem Paper zielen wir darauf ab, zu untersuchen, wie man einen leistungsfähigen Instanzsegmentierer mit minimalen Trainingszeiten und geringem GPU-Verbrauch aufbauen kann, im Gegensatz zu den meisten aktuellen Ansätzen, die durch den Aufbau fortschrittlicherer Architekturen höhere Genauigkeit anstreben, jedoch mit längeren Trainingszeiten und höheren GPU-Anforderungen einhergehen. Um dies zu erreichen, führen wir einen einfachen und allgemein anwendbaren Rahmen ein, der als Mask Frozen-DETR bezeichnet wird und es ermöglicht, jedes bestehende DETR-basierte Objektdetektionsmodell in ein leistungsstarkes Instanzsegmentierungsmodell umzuwandeln. Unser Ansatz erfordert lediglich das Training eines zusätzlichen, leichtgewichtigen Maskennetzes, das Instanzmasken innerhalb der von einem fixierten DETR-basierten Objektdetektor bereitgestellten Bounding Boxes vorhersagt. Bemerkenswert ist, dass unsere Methode die aktuell beste Instanzsegmentierungs-Methode, Mask DINO, hinsichtlich der Leistung auf dem COCO test-dev Split übertrifft (55,3 % gegenüber 54,7 %), während sie über 10-mal schneller trainiert wird. Zudem können alle unsere Experimente mit lediglich einem Tesla V100-GPU mit 16 GB Speicher durchgeführt werden, was die erhebliche Effizienz unseres vorgeschlagenen Rahmens unterstreicht.