Erkennung von kontextfremden Objekten mithilfe kontextueller Hinweise

Diese Arbeit präsentiert einen Ansatz zur Erkennung von außerhalb des Kontexts befindlichen (OOC) Objekten in einem Bild. Gegeben ein Bild mit einer Menge von Objekten soll bestimmt werden, ob ein Objekt mit dem Szenenkontext inkonsistent ist, und das OOC-Objekt mittels einer Umrandungsbox detektiert werden. In dieser Arbeit betrachten wir häufig untersuchte kontextuelle Beziehungen, wie beispielsweise Ko-Existenzrelationen, das relative Größenverhältnis eines Objekts gegenüber anderen Objekten sowie die räumliche Position des Objekts innerhalb der Szene. Wir gehen davon aus, dass kontextuelle Hinweise nützlich sind, um die Objektbezeichnungen für im Kontext befindliche Objekte zu bestimmen, während widersprüchliche kontextuelle Hinweise die Bestimmung der Objektbezeichnungen für außerhalb des Kontexts befindliche Objekte beeinträchtigen. Um diese Hypothese zu realisieren, schlagen wir ein Graph-Contextual-Reasoning-Netzwerk (GCRN) zur Erkennung von OOC-Objekten vor. Das GCRN besteht aus zwei getrennten Graphen, die zur Vorhersage von Objektbezeichnungen auf Basis der kontextuellen Hinweise im Bild dienen: 1) einem Repräsentationsgraphen, der Objektmerkmale anhand benachbarter Objekte lernt, und 2) einem Kontextgraphen, der kontextuelle Hinweise explizit aus benachbarten Objekten erfasst. Das GCRN erfasst kontextuelle Hinweise explizit, um die Erkennung von im Kontext befindlichen Objekten zu verbessern und Objekte zu identifizieren, die kontextuelle Beziehungen verletzen. Zur Evaluierung unseres Ansatzes erstellen wir eine großskalige Datensammlung, indem wir OOC-Objektinstanzen in COCO-Bilder integrieren. Zudem evaluieren wir auf einem aktuellen OCD-Benchmark. Unsere Ergebnisse zeigen, dass das GCRN gegenüber konkurrierenden Baselines bei der Erkennung von OOC-Objekten sowie bei der korrekten Erkennung von im Kontext befindlichen Objekten übertrifft.