HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Lernen semantischer Assoziationen für die Spiegelerkennung

{Rynson W.H. Lau Jiaying Lin Huankang Guan}

Lernen semantischer Assoziationen für die Spiegelerkennung

Abstract

Spiegel weisen im Allgemeinen keine konsistente visuelle Erscheinung auf, was die Erkennung von Spiegeln äußerst herausfordernd macht. Obwohl jüngere Ansätze, die auf der Ausnutzung kontextueller Kontraste und entsprechender Beziehungen basieren, bereits gute Ergebnisse erzielt haben, neigen diese Ansätze dazu, in komplexen realen Szenen zu versagen, in denen viele Objekte – beispielsweise Türen – ähnliche Merkmale wie Spiegel aufweisen können. Wir beobachten, dass Menschen Spiegel tendenziell in Beziehung zu bestimmten Objekten aus funktionalen Gründen platzieren, beispielsweise über einem Waschbecken. Inspiriert durch diese Beobachtung schlagen wir ein Modell vor, das semantische Assoziationen zwischen Spiegel und seinen umgebenden Objekten zur zuverlässigen Lokalisierung von Spiegeln nutzt. Unser Modell erlangt zunächst klassenspezifisches Wissen über die umgebenden Objekte über einen semantischen Nebenpfad. Anschließend verwendet es zwei neuartige Module zur Ausnutzung semantischer Assoziationen: 1) ein Associations Exploration (AE)-Modul, das Assoziationen zwischen Szenenobjekten basierend auf vollständigen Graphen extrahiert, und 2) ein Quadruple-Graph (QG)-Modul, das die Diffusion und Aggregation semantischen Assoziationswissens mittels Graphen-Convolutionen unterstützt. Umfangreiche Experimente zeigen, dass unsere Methode die bestehenden Ansätze übertrifft und die neue State-of-the-Art auf beiden Datensätzen PMD (F-Maß: 0,844) und MSD (F-Maß: 0,889) erreicht.

Benchmarks

BenchmarkMethodikMetriken
image-segmentation-on-msd-mirror-segmentationSANet
F-measure: 0.877
IoU: 0.798
MAE: 0.054
image-segmentation-on-pmdSANet
F-measure: 0.795
IoU: 0.668
MAE: 0.032

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen semantischer Assoziationen für die Spiegelerkennung | Forschungsarbeiten | HyperAI