Lernen semantischer Assoziationen für die Spiegelerkennung
{Rynson W.H. Lau Jiaying Lin Huankang Guan}

Abstract
Spiegel weisen im Allgemeinen keine konsistente visuelle Erscheinung auf, was die Erkennung von Spiegeln äußerst herausfordernd macht. Obwohl jüngere Ansätze, die auf der Ausnutzung kontextueller Kontraste und entsprechender Beziehungen basieren, bereits gute Ergebnisse erzielt haben, neigen diese Ansätze dazu, in komplexen realen Szenen zu versagen, in denen viele Objekte – beispielsweise Türen – ähnliche Merkmale wie Spiegel aufweisen können. Wir beobachten, dass Menschen Spiegel tendenziell in Beziehung zu bestimmten Objekten aus funktionalen Gründen platzieren, beispielsweise über einem Waschbecken. Inspiriert durch diese Beobachtung schlagen wir ein Modell vor, das semantische Assoziationen zwischen Spiegel und seinen umgebenden Objekten zur zuverlässigen Lokalisierung von Spiegeln nutzt. Unser Modell erlangt zunächst klassenspezifisches Wissen über die umgebenden Objekte über einen semantischen Nebenpfad. Anschließend verwendet es zwei neuartige Module zur Ausnutzung semantischer Assoziationen: 1) ein Associations Exploration (AE)-Modul, das Assoziationen zwischen Szenenobjekten basierend auf vollständigen Graphen extrahiert, und 2) ein Quadruple-Graph (QG)-Modul, das die Diffusion und Aggregation semantischen Assoziationswissens mittels Graphen-Convolutionen unterstützt. Umfangreiche Experimente zeigen, dass unsere Methode die bestehenden Ansätze übertrifft und die neue State-of-the-Art auf beiden Datensätzen PMD (F-Maß: 0,844) und MSD (F-Maß: 0,889) erreicht.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-segmentation-on-msd-mirror-segmentation | SANet | F-measure: 0.877 IoU: 0.798 MAE: 0.054 |
| image-segmentation-on-pmd | SANet | F-measure: 0.795 IoU: 0.668 MAE: 0.032 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.