Offen-vokabuläre semantische Segmentierung mit entkoppelter Einzelpass-Netzwerk

Kürzlich hat das Problem der offenen-Vokabular-Semantiksegmentierung zunehmend Aufmerksamkeit erregt, wobei die leistungsstärksten Ansätze auf Zweistrom-Netzwerken basieren: Ein Strom generiert Vorschlagsmasken, während der andere Strom zur Segmentklassifizierung unter Verwendung eines vortrainierten visuell-sprachlichen Modells dient. Allerdings erfordern bestehende Zweistrom-Methoden die Verarbeitung einer großen Anzahl von Bildausschnitten (bis zu hundert) durch das visuell-sprachliche Modell, was äußerst ineffizient ist. Um dieses Problem zu lösen, schlagen wir ein Netzwerk vor, das für jedes Eingabebild nur einen einzigen Durchlauf durch das visuell-sprachliche Modell benötigt. Konkret führen wir zunächst einen neuartigen Netzwerkadaptationsansatz ein, den wir „Patch Severance“ nennen, um die schädliche Beeinflussung zwischen den Patch-Embeddings im vortrainierten visuellen Encoder zu begrenzen. Anschließend stellen wir „Classification Anchor Learning“ vor, um das Netzwerk dazu zu bringen, sich räumlich auf diskriminativere Merkmale für die Klassifizierung zu konzentrieren. Umfassende Experimente zeigen, dass die vorgeschlagene Methode herausragende Leistung erzielt und die bisherigen State-of-the-Art-Methoden übertrifft, während sie bei der Inferenz 4 bis 7 Mal schneller ist. Code: https://github.com/CongHan0808/DeOP.git