Entkoppelte nichtlokale neuronale Netzwerke

Der non-local-Block ist ein gängiges Modul zur Stärkung der Kontextmodellierungsfähigkeit eines herkömmlichen konvolutionellen neuronalen Netzes. In dieser Arbeit untersuchen wir den non-local-Block eingehend und stellen fest, dass seine Aufmerksamkeitsberechnung in zwei Terme zerlegt werden kann: einen whitened pairwise-Term, der die Beziehung zwischen zwei Pixeln beschreibt, und einen unary-Term, der die Salienz jedes einzelnen Pixels repräsentiert. Wir beobachten außerdem, dass die beiden Terme, wenn sie getrennt trainiert werden, unterschiedliche visuelle Hinweise modellieren – beispielsweise lernt der whitened pairwise-Term Beziehungen innerhalb von Regionen, während der unary-Term hervorstechende Konturen erfasst. In der ursprünglichen Architektur des non-local-Blocks sind jedoch beide Terme eng gekoppelt, was deren jeweilige Lernleistung beeinträchtigt. Ausgehend von diesen Erkenntnissen präsentieren wir den entkoppelten non-local-Block, bei dem die beiden Terme voneinander getrennt werden, um das Lernen beider Terme zu erleichtern. Wir belegen die Wirksamkeit des entkoppelten Designs anhand verschiedener Aufgaben, darunter semantische Segmentierung auf Cityscapes, ADE20K und PASCAL Context, Objektdetektion auf COCO sowie Aktionserkennung auf Kinetics.