Command Palette
Search for a command to run...
Lernen semantischer Assoziationen für die Spiegelerkennung
Lernen semantischer Assoziationen für die Spiegelerkennung
Rynson W.H. Lau Jiaying Lin Huankang Guan
Zusammenfassung
Spiegel weisen im Allgemeinen keine konsistente visuelle Erscheinung auf, was die Erkennung von Spiegeln äußerst herausfordernd macht. Obwohl jüngere Ansätze, die auf der Ausnutzung kontextueller Kontraste und entsprechender Beziehungen basieren, bereits gute Ergebnisse erzielt haben, neigen diese Ansätze dazu, in komplexen realen Szenen zu versagen, in denen viele Objekte – beispielsweise Türen – ähnliche Merkmale wie Spiegel aufweisen können. Wir beobachten, dass Menschen Spiegel tendenziell in Beziehung zu bestimmten Objekten aus funktionalen Gründen platzieren, beispielsweise über einem Waschbecken. Inspiriert durch diese Beobachtung schlagen wir ein Modell vor, das semantische Assoziationen zwischen Spiegel und seinen umgebenden Objekten zur zuverlässigen Lokalisierung von Spiegeln nutzt. Unser Modell erlangt zunächst klassenspezifisches Wissen über die umgebenden Objekte über einen semantischen Nebenpfad. Anschließend verwendet es zwei neuartige Module zur Ausnutzung semantischer Assoziationen: 1) ein Associations Exploration (AE)-Modul, das Assoziationen zwischen Szenenobjekten basierend auf vollständigen Graphen extrahiert, und 2) ein Quadruple-Graph (QG)-Modul, das die Diffusion und Aggregation semantischen Assoziationswissens mittels Graphen-Convolutionen unterstützt. Umfangreiche Experimente zeigen, dass unsere Methode die bestehenden Ansätze übertrifft und die neue State-of-the-Art auf beiden Datensätzen PMD (F-Maß: 0,844) und MSD (F-Maß: 0,889) erreicht.