Kanalisierte axiale Aufmerksamkeit für die semantische Segmentierung – Berücksichtigung der Kanalbeziehung innerhalb der räumlichen Aufmerksamkeit für die semantische Segmentierung

Raumbezogene und kanalbezogene Aufmerksamkeit, die jeweils die semantischen Interdependenzen in raumlicher und kanalbezogener Dimension modellieren, werden in jüngster Zeit weit verbreitet für die semantische Segmentierung eingesetzt. Die getrennte Berechnung von raumlicher und kanalbezogener Aufmerksamkeit führt jedoch manchmal zu Fehlern, insbesondere bei anspruchsvollen Fällen. In diesem Artikel stellen wir Channelized Axial Attention (CAA) vor, eine Methode, die kanalbezogene und raumbezogene Aufmerksamkeit nahtlos in einer einzigen Operation integriert, wobei der zusätzliche Rechenaufwand vernachlässigbar gering bleibt. Konkret zerlegen wir den Skalarprodukt-Operationsschritt der raumbezogenen Aufmerksamkeit in zwei Teile und integrieren zwischen ihnen Beziehungen zwischen Kanälen, wodurch eine unabhängige Optimierung der kanalbezogenen Aufmerksamkeit an jeder raumlichen Position ermöglicht wird. Darüber hinaus entwickeln wir eine gruppierte Vektorisierung, die es unserem Modell erlaubt, mit extrem geringem Speicherverbrauch zu arbeiten, ohne die Laufzeit zu verlangsamen. Vergleichende Experimente auf mehreren Benchmark-Datensätzen, darunter Cityscapes, PASCAL Context und COCO-Stuff, zeigen, dass unser CAA auf allen getesteten Datensätzen viele aktuelle state-of-the-art-Modelle für Segmentierung (einschließlich Dual Attention) übertrifft.