HyperAIHyperAI

Command Palette

Search for a command to run...

Entkoppelte nichtlokale neuronale Netzwerke

Minghao Yin Zhuliang Yao Yue Cao Xiu Li Zheng Zhang Stephen Lin Han Hu

Zusammenfassung

Der non-local-Block ist ein gängiges Modul zur Stärkung der Kontextmodellierungsfähigkeit eines herkömmlichen konvolutionellen neuronalen Netzes. In dieser Arbeit untersuchen wir den non-local-Block eingehend und stellen fest, dass seine Aufmerksamkeitsberechnung in zwei Terme zerlegt werden kann: einen whitened pairwise-Term, der die Beziehung zwischen zwei Pixeln beschreibt, und einen unary-Term, der die Salienz jedes einzelnen Pixels repräsentiert. Wir beobachten außerdem, dass die beiden Terme, wenn sie getrennt trainiert werden, unterschiedliche visuelle Hinweise modellieren – beispielsweise lernt der whitened pairwise-Term Beziehungen innerhalb von Regionen, während der unary-Term hervorstechende Konturen erfasst. In der ursprünglichen Architektur des non-local-Blocks sind jedoch beide Terme eng gekoppelt, was deren jeweilige Lernleistung beeinträchtigt. Ausgehend von diesen Erkenntnissen präsentieren wir den entkoppelten non-local-Block, bei dem die beiden Terme voneinander getrennt werden, um das Lernen beider Terme zu erleichtern. Wir belegen die Wirksamkeit des entkoppelten Designs anhand verschiedener Aufgaben, darunter semantische Segmentierung auf Cityscapes, ADE20K und PASCAL Context, Objektdetektion auf COCO sowie Aktionserkennung auf Kinetics.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp