HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Contextuell kontrastierte Merkmale und gatete Multi-Skalen-Aggregation für die Szenensegmentierung

{Xudong Jiang Ai Qun Liu Gang Wang Bing Shuai Henghui Ding}

Contextuell kontrastierte Merkmale und gatete Multi-Skalen-Aggregation für die Szenensegmentierung

Abstract

Die Szenen-Segmentation ist eine anspruchsvolle Aufgabe, da jedes Pixel im Bild annotiert werden muss. Es ist entscheidend, diskriminative Kontextinformationen auszunutzen und mehrskalige Merkmale zu aggregieren, um eine verbesserte Segmentierung zu erzielen. In diesem Artikel stellen wir zunächst ein neuartiges kontextkontrastiertes lokales Merkmal vor, das nicht nur informativen Kontext nutzt, sondern zudem die lokale Information im Kontrast zum Kontext hervorhebt. Das vorgeschlagene kontextkontrastierte lokale Merkmal verbessert die Auswertungsleistung erheblich, insbesondere für unauffällige Objekte und Hintergrund-Elemente. Darüber hinaus schlagen wir ein Gating-Summen-Verfahren vor, um mehrskalige Merkmale an jeder räumlichen Position selektiv zu aggregieren. Die Gatter in diesem Ansatz steuern den Informationsfluss verschiedener Skalenmerkmale. Ihre Werte werden aus dem Testbild mittels des vorgeschlagenen Netzwerks generiert, das aus den Trainingsdaten gelernt wurde, sodass sie nicht nur an die Trainingsdaten, sondern auch an das jeweilige Testbild anpassungsfähig sind. Ohne zusätzliche Komplexitäten erreicht der vorgeschlagene Ansatz konsistent den Stand der Technik auf drei etablierten Szenen-Segmentation-Datensätzen: Pascal Context, SUN-RGBD und COCO Stuff.

Code-Repositories

Benchmarks

BenchmarkMethodikMetriken
semantic-segmentation-on-coco-stuff-testCCL (ResNet-101)
mIoU: 35.7%
semantic-segmentation-on-sun-rgbdEMSANet (2x ResNet-34 NBt1D, PanopticNDT version, finetuned)
Mean IoU: 47.1%

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp