Box2Mask: Box-gesteuerte Instanzsegmentierung durch Level-Set-Evolution

Im Gegensatz zu vollständig überwachten Methoden, die pixelgenaue Maskenlabels verwenden,nutzt die box-supervisierte Instanzsegmentierung einfache Box-Annotierungen,was in letzter Zeit zunehmendes Forschungsinteresse geweckt hat. Dieses Papier stellteinen neuen One-Shot-Instanzsegmentierungsansatz vor, nämlich Box2Mask, derdas klassische Level-Set-Evolutionsmodell in das tiefen neuronale Netzwerklernen integriert,um eine genaue Maskenvorhersage mit nur Bounding-Box-Überwachung zu erreichen. Insbesondere werden sowohl das Eingangsbild als auch seine tiefen Merkmaleverwendet, um die Level-Set-Kurven implizit zu entwickeln, und ein lokales Konsistenzmodul basierend auf einem Pixelaffinitätskern wird eingesetzt,um den lokalen Kontext und räumliche Beziehungen auszugraben. Zwei Arten von Single-Stage-Frameworks, nämlich CNN-basierte und transformer-basierte Frameworks,wurden entwickelt, um die Level-Set-Evolution für die box-supervisierte Instanzsegmentierung zu stärken. Jedes Framework besteht aus drei wesentlichen Komponenten:instanzbewusstem Decoder, boxbasiertem Zuordnungsmechanismus und Level-Set-Evolution. Durch Minimierung der Level-Set-Energiefunktion kann die Maskenkartejeder Instanz innerhalb ihrer Bounding-Box-Annotation iterativ optimiert werden. Die experimentellen Ergebnisse auf fünf anspruchsvollen Testständen,die allgemeine Szenen, Fernerkundung, medizinische und Szene-Textbilder abdecken, zeigen die herausragende Leistung unseres vorgeschlagenen Box2Mask-Ansatzesfür die box-supervisierte Instanzsegmentierung. Insbesondere erzielt unser Box2Mask mit dem großen Swin-Transformer-Rückgrat 42,4 % Masken AP auf COCO,was vergleichbar ist mit den kürzlich entwickelten vollständig maskensupervisierten Methoden. Der Code ist unter folgendem Link verfügbar:https://github.com/LiWentomng/boxlevelset.