Adaptives Kontextnetzwerk für die Szenenanalyse

Neuere Arbeiten bemühen sich, die Leistung von Szenenparsen durch die Exploration verschiedener Kontextebenen zu verbessern, und trainieren typischerweise ein gut gestaltetes konvolutionelles Netzwerk, um nützliche Kontextinformationen gleichmäßig über alle Pixel hinweg auszunutzen. In dieser Arbeit stellen wir jedoch fest, dass die Kontextanforderungen von verschiedenen Pixeln oder Regionen innerhalb eines Bildes variieren. Ausgehend von dieser Beobachtung schlagen wir ein adaptives Kontextnetzwerk (Adaptive Context Network, ACNet) vor, das pixelbasierte Kontextinformationen durch eine wettbewerbsfähige Fusion von globalen und lokalen Kontexten erfasst, jeweils entsprechend den pro-Pixel-Anforderungen. Konkret wird bei gegebenem Pixel die Anforderung an den globalen Kontext durch die Ähnlichkeit zwischen dem globalen Merkmal und dessen lokalem Merkmal gemessen, wobei der reziproke Wert dieser Ähnlichkeit als Maß für die Anforderung an den lokalen Kontext dient. Wir modellieren diese beiden Anforderungsmessungen jeweils mittels eines vorgeschlagenen Moduls für den globalen Kontext und eines Moduls für den lokalen Kontext, um adaptiv angepasste Kontextmerkmale zu generieren. Darüber hinaus integrieren wir mehrere solcher Module, um adaptiv angepasste Kontextblöcke auf unterschiedlichen Ebenen des Netzwerks zu bilden, wodurch eine grob-zu-fein-ergebende Darstellung erreicht wird. Abschließend zeigen umfassende experimentelle Evaluationen die Wirksamkeit des vorgeschlagenen ACNet, wobei neue SOTA-Ergebnisse (State-of-the-Art) auf allen vier öffentlichen Datensätzen, nämlich Cityscapes, ADE20K, PASCAL Context und COCO Stuff, erzielt werden.